データバンド v1.0
1.0
DataBand (データ ヘルプ)、迅速な収集とクリーニング、タスク管理、リアルタイム ストリームおよびバッチ データ分析、データの視覚化、迅速なデータ テンプレートの開発、ETL ツール セット、データ サイエンスなど。軽量なワンストップビッグデータプラットフォームです。 スマートアプリケーション、データ分析、コンサルティングサービスの提供により、最適なソリューションの提供に努めます。
ストレージ
分散ストレージ: HDFS、HBase
行リレーショナル ストレージ: MySQL、Oracle
カラムストレージ：ClickHouse
列ファミリー ストレージ: HBase、Cassandra
ドキュメント ライブラリ: ElasticSearch、MongoDB
計算する
コンピューティング エンジン: Presto、Hive
ストリーム処理: ストーム、フリンク
統合された
水路
ファイルビート
ログスタッシュ
フロントエンド技術スタック
ヴュー
要素UI
バックエンド技術スタック
スプリングブーツ
春の雲
マイバティス
ビッグデータはデータソースをシミュレートしてデータを生成します（データ準備エンジニアリング）
データソース
databand-mock-api: インターフェイス シミュレーション ツール、ビジネス システム API をシミュレートします。
databand-mock-log: ログ シミュレーション ツール。Syslog、ログ、CSV 生成、Json、MySQL インジェクション、RPC 書き込み、NetCat などのデバッグとテスト用に大量のログ データを手動で生成します。
databand-mock-mq: ログ シミュレーション ツール。RaadfdsitMQ 書き込み、Kafka 書き込みなどの MQ 書き込みを通じてデバッグおよびテスト用に大量のログ データを生成します。
databand-mock-hadoop: HDF と MapReduce に関連するビッグ データ ログ シミュレーション ツール。
データ収集とクリーニング（コレクションクリーニングプロジェクト）
databand-etl-mysql_ods: MySQL などの mysql データを収集し、ods 一時中間ライブラリ (Redis、Kafka などを含む) にクリーンアップします。
databand-etl-mysql_olap: mysql データを収集し、OLAP データ ウェアハウスにクリーンアップします。
databand-etl-mysql_hadoop: mysql データを収集し、Hadoop 分散ストレージにクリーンアップします。
databand-etl-logfile_ods: json、xml、log、csv ファイル データなどの半構造化ログ ファイルを収集し、ods 一時中間ライブラリにクリーンアップします。
databand-etl-logfile_olap: 半構造化ログ ファイル データを収集し、OLAP データ ウェアハウスにクリーンアップします。
databand-etl-logfile_hadoop: ログ ファイル データを収集し、Hadoop 分散ストレージにクリーンアップします。
databand-etl-mq_ods: MQ の消費を通じてデータを収集し、それを ods データベースに入力します。
databand-etl-mq_olap: MQ の消費を通じてデータを収集し、それを OLAP ライブラリに入力します。
databand-etl-mq_hadoop: MQ の消費を通じてデータを収集し、Hadoop に入力します。- databand-ml: データ サイエンス エンジニアリング。
データ分析ジョブ（スケジュールされたジョブのスケジュール設定プロジェクト）
databand-job-springboot: スケジュールされたタスクのジョブ スケジューリング サービス。シェル、ハイブ、Python、spark-sql、Java jar タスクをサポートします。
databand-streamjob-springboot: ストリーミング データ ジョブ。クリックハウス、mysql、es などへの Kafka データ消費をサポートします。
データ分析ポータル（バックエンド管理およびフロントエンド表示プロジェクト）
databand-admin-ui: フロントエンドとバックエンドの分離、データ表示を備えた純粋なフロントエンド UI プロジェクト (現在開発されていません)。
databand-admin-thymeleaf: Ruoyi フレームワークに基づく、バックエンドの権限、関係、サイト構成管理 (フロントエンドとバックエンドは分離されておらず、開発中)。
databand-admin-api: データ API サービス;
databand-admin-tools: BI ツールセット;
ライブストリーミングデータ
databand-rt-flinkstreaming: flink リアルタイム データ ストリーム処理。主に PV と UV で、ウィンドウ、集計、遅延、ウォーターマーク、統計、チェックポイントなどの基本的な使用法が含まれます。
databand-rt-redis: リアルタイム処理用のキャッシュ ストレージ。
databand-rt-sparkstreaming: flink の機能に似た、主に構造化されたストリーミングのスパーク リアルタイム データ ストリーム処理。
