Smart Kettle - 基於Springboot 的Kettle 大數據調度服務監控平台
Downcodes小編
Smart Kettle 是一款基於目前網路熱門的Springboot 微服務後端架構,採用豐富的前端Vue、iView 等元件技術建構的Kettle 大數據排程服務監控平台。它旨在解決企業資料擷取業務場景中,無法透過Web 方式配置、調度、監控Kettle 的痛點。
Smart Kettle 的優勢
Smart Kettle 針對企業資料處理業務中常見的痛點,對Kettle 的使用進行了包裝和最佳化,使其在Web 端也能具備基礎的Kettle 作業和轉換配置、調度、監控功能。這在很大程度上能夠協助企業完成不同業務場景下資料的ETL(抽取、轉換、加工)能力。
注意:本系統並非是Kettle 原始碼的再造,而是藉助Kettle 的API,實現Kettle 在Web 端功能上的華麗轉身。
功能特點
1. 輕量級Kettle Web 端調度監控平台
支援作業和轉換的自訂範本設定。
支援作業和轉換的多任務範本複製。
支援作業和轉換的GUI 端設定同步到Web 端。
支援作業和轉換的日誌自定路徑配置。
支援作業和轉換的日誌檔案下載管理。
支援文件庫資源庫配置。
支援資料庫資源庫配置。
支援SFTP/FTP/FTPS 的遠端資源庫配置。
支援資源庫目錄樹查看。
支援作業和轉換的叢集調度(遠端子伺服器呼叫)。
支援作業和轉換的調度配置。
支援作業和轉換的監控管理。
支援作業和轉換的本機執行。
支援作業和轉換的遠端執行。
支援作業和轉換的定時配置。
支援作業和轉換的即時監控。
支援Kettle 的Web 端資源庫管理。
支援自訂執行緒池設定、任務的並行處理。
支援Kettle 任務的告警監控、日誌管理。
提供豐富的業務庫、字典庫自訂設定。
提供完整的、即時的調度監控大盤。
提供系統的使用者、角色、權限管理。
提供Druid 資料庫查詢腳本的即時監控能力。
支援Kettle 7.0.1+ 以上版本,目前版本為9.2.0.0-179(注意:需要設定kettle-password-encoder-plugins,本系統已經整合進來,無需再配置)。
2. 前後端分離設計
後端架構是基於Springboot 實作。
服務端可發布REST 服務。
前端架構基於VUE,資料組件更加豐富、易於維護。
客戶端透過AJAX 取得服務端資料並進行介面渲染。
3. 基於微服務技術的實現
後端架構採用自建的x-common-base 框架。
後端封裝了基於Kettle 的強大介面插件x-kettle-core。
後端框架基於Springboot + Mybatis 實作。
後端框架易於遷移、二次開發、方便維護。
4. 基於漸進式VUE 框架的前端實現
功能組件化,易於二次開發維護。
新手容易上手,短時間內入門。
介面更加美觀、組件更加豐富。
環境要求
Maven3+
JDK1.8+
MySQL5.7+
總結
Smart Kettle 提供了一個便利、高效的Kettle 大數據調度服務監控平台,協助企業更有效率地管理和監控資料處理流程。其前後端分離的設計,基於微服務和VUE 框架的實現,為企業提供了靈活、可擴展的解決方案。