Exchangegis 軽量データ交換プラットフォーム v1.1.3

Exchangegis は、WeBank のオープンソースの軽量データ交換プラットフォームであり、さまざまなストレージ メディアにデータを迅速に転送し、データ交換プロセスで直面する複雑さや互換性などの問題を解決するために使用されます。設計はマイクロサービスアーキテクチャの形式を採用しており、上位サービスと下位サービスが疎結合されているため、パーソナライズされた拡張性の高い反復開発を容易に行うことができます。

Exchangegis は、構造化および非構造化の異種データ ソース間のデータ転送をサポートしており、アプリケーション層ではデータ アクセス許可制御、ノード サービスの高可用性、マルチテナント リソースの分離などのビジネス機能を備えています。アーキテクチャの多様化、モジュール プラグイン、コンポーネントの低結合などのアーキテクチャ上の特徴。

Exchangegis の送信および交換機能は、その基礎となる集約された送信エンジンに依存しており、その最上位層はさまざまなデータ ソースの統合パラメーター モデルを定義し、パラメーター モデルをマッピングして構成し、それをエンジンの入力モデルに変換します。エンジンが集約されるたびに、Exchangegis の機能の種類が追加され、特定の種類のエンジンの機能強化によって Exchangegis の機能が向上します。 Alibaba の DataX 転送エンジンのデフォルトの集約と機能強化。

交換機能

1. データソース管理

プロジェクトをバインドして独自のデータ ソースを共有します。

データ ソースの外部権限を設定して、データの流入と流出を制御します。

2. 複数のトランスミッションエンジンのサポート

トランスポート エンジンは水平方向に拡張可能です。

現在、オフライン バッチ エンジン DataX は完全に集約され、ビッグ データ バッチ派生エンジン SQOOP は部分的に集約されています。

3. ほぼリアルタイムのタスク管理と制御

送信タスクのログや送信速度などの情報を素早く取得し、リアルタイムでタスクを終了します。

帯域幅の条件に基づいてタスクを動的に制限する

4.非構造化送信のサポート

DataX フレームワークは、バイナリ ストリーム用に別の高速チャネルを構築するように変換されており、データ変換を行わない純粋なデータ同期シナリオに適しています。

5. タスクステータスのセルフチェック

長時間実行されているタスクや異常なステータスのタスクを監視し、占有されているリソースを適時に解放し、アラームを発行します。