DolphinScheduler任務調度系統v2.0.9

Apache DolphinScheduler(incubator,原EasyScheduler）是一個大數據分散式工作流程任務調度系統，主要解決大數據研發過程中ETL處理錯綜複雜的依賴關係，而無法直覺監控任務健康狀態等問題。 DolphinScheduler以DAG串流的方式將Task組裝起來，可即時監控任務的運作狀態，同時支援重試、從指定節點恢復失敗、暫停及Kill任務等操作。

設計特點：一個分散式易擴展的可視化DAG工作流程任務調度系統。致力於解決資料處理流程中錯綜複雜的依賴關係，使調度系統在資料處理流程中開箱即用。 其主要目標如下

1.以DAG圖的方式將Task依照任務的依賴關係關聯起來，可即時視覺化監控任務的運作狀態

2、支援豐富的任務類型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等

3.支援工作流程定時調度、依賴調度、手動調度、手動暫停/停止/恢復，同時支援失敗重試/告警、從指定節點恢復失敗、Kill任務等操作

4.支援工作流程優先順序、任務優先順序及任務的故障轉移及任務逾時警報/失敗

5.支援工作流程全域參數及節點自訂參數設定

6、支援資源檔案的線上上傳/下載，管理等，支援線上文件建立、編輯

7、支援任務日誌線上查看及捲動、線上下載日誌等

8.實現集群HA，透過Zookeeper實現Master集群和Worker集群去中心化

9、支援對Master/Worker cpu load，memory，cpu在線查看

10.支援工作流程運行歷史樹形/甘特圖展示、支援任務狀態統計、流程狀態統計

11、支持補數

12、支持多租戶

13、支持國際化

14.還有更多等待夥伴們探索

展開