DataBand(資料幫) v1.0
1.0
DataBand(資料幫)，快速擷取清洗，任務管理，即時串流與批次資料分析，資料視覺化展現，快速資料範本開發，ETL工具集、資料科學等。是輕量級的一站式的大數據平台。 我們致力於透過提供智慧應用程式、數據分析和諮詢服務來提供最優解決方案。
儲存
分散式儲存：HDFS、HBase
行式關聯式儲存：MySQL、Oracle
列式儲存：ClickHouse
列族儲存：HBase、Cassandra
文件庫：ElasticSearch、MongoDB
計算
計算引擎：Presto、Hive
流處理：Storm、Flink
整合
Flume
Filebeat
Logstash
前端技術堆疊
Vue
Element UI
後端技術堆疊
Spring Boot
Spring Cloud
MyBatis
大數據模擬資料來源產生資料(資料準備工程)
資料來源
databand-mock-api：介面模擬工具，模擬業務系統api;
databand-mock-log：日誌模擬工具，手動產生大量的日誌資料供調試測試，例如Syslog、log、CSV生成、Json、MySQL注入、RPC寫入、NetCat等;
databand-mock-mq：日誌模擬工具，透過MQ寫產生大量的日誌資料供調試測試，例如RaadfdsitMQ寫、Kafka寫等;
databand-mock-hadoop：大數據日誌模擬工具，hdfs和mapreduce相關;
資料採集清洗(採集清洗工程)
databand-etl-mysql_ods：採集清洗mysql資料如MySQL到ods臨時中間函式庫(包括Redis、Kafka等);
databand-etl-mysql_olap：採集清洗mysql資料到OLAP資料倉儲;
databand-etl-mysql_hadoop：採集清洗mysql資料到Hadoop分散式儲存;
databand-etl-logfile_ods：採集清洗半結構化日誌文件，例如json、xml、log、csv文件資料到ods臨時中間庫;
databand-etl-logfile_olap：採集清洗半結構化日誌檔案資料到OLAP資料倉儲;
databand-etl-logfile_hadoop：採集清洗日誌檔案資料到Hadoop分散式儲存;
databand-etl-mq_ods：透過MQ消費採集數據，入ods庫;
databand-etl-mq_olap：透過MQ消費採集數據，入OLAP庫;
databand-etl-mq_hadoop：透過MQ消費採集數據，入Hadoop;- databand-ml：數據科學工程;
資料分析作業(定時作業排程工程)
databand-job-springboot：定時任務作業排程服務，支援shell,hive,python,spark-sql,java jar任務。
databand-streamjob-springboot：串流資料作業，支援kafka資料消費至clickhouse、mysql、es等。
資料分析入口網站(後端管理與前端展示工程)
databand-admin-ui：前後端分離的純前端UI工程，資料展現(目前未開發);
databand-admin-thymeleaf：後端權限、關係、網站設定管理(前後端不分離，正在開發的)，基於若依框架;
databand-admin-api：資料api服務;
databand-admin-tools：BI工具集;
即時串流數據
databand-rt-flinkstreaming：flink即時資料流處理。主要是PV、UV，涉及視窗、聚合、延時、浮水印、統計、checkpoint等基本用法;
databand-rt-redis：一些即時處理的快取儲存;
databand-rt-sparkstreaming：spark即時資料流處理，和flink的功能近似，主要structured streaming;
