Exchangis輕量級資料交換平台v1.1.3
1.1.3
Exchangis是微眾銀行開源的輕量級資料交換平台,用於資料在不同儲存媒體中快速傳遞,並解決資料交換過程中面臨的複雜性、相容性等問題。設計上採取微服務架構形態,上下層服務鬆散耦合,易於進行個人化的,高拓展性的迭代開發。
Exchangis支援對結構化及無結構化的異質資料來源之間的資料傳輸,在應用層上具有資料權限管控、節點服務高可用和多租用戶資源隔離等業務特性,而在資料層上又具有傳輸架構多樣化、模組插件化和元件低耦合等架構特性。
Exchangis的傳輸交換能力依賴其底層聚合的傳輸引擎,其頂層對各類資料來源定義統一的參數模型,每種傳輸引擎對參數模型進行映射配置,轉換為引擎的輸入模型。每聚合一種引擎,都會增加Exchangis一類特性,對某一類引擎的特性強化,都是對Exchangis特性的完善。預設聚合以及強化Alibaba的DataX傳輸引擎。
1、資料來源管理
以綁定項目的方式共享自己的資料來源;
設定資料來源對外權限,控制資料的流入和流出。
2、多傳輸引擎支持
傳輸引擎可橫向擴展;
目前完整聚合了離線批量引擎DataX、部分聚合了大數據批量導數引擎SQOOP
3、近實時任務管控
快速抓取傳輸任務日誌以及傳輸速率等訊息,即時關閉任務;
可根據頻寬狀況對任務進行動態限流
4.支援無結構化傳輸
DataX框架改造,單獨建構二進位流快速通道,適用於無資料轉換的純資料同步場景。
5.任務狀態自檢
監控長時間運行的任務和狀態異常任務,及時釋放佔用的資源並發出警告。