DolphinScheduler タスク スケジューリング システム v2.0.9

Apache DolphinScheduler (incubator、旧名 EasyScheduler) は、ビッグ データの分散ワークフロー タスク スケジューリング システムであり、主にビッグ データの研究開発プロセスにおける ETL 処理の複雑な依存関係の問題を解決しますが、タスクの健全性状態を直感的に監視することはできません。 DolphinScheduler は DAG ストリーミング方式でタスクを組み立て、タスクの実行ステータスをリアルタイムで監視し、再試行、指定されたノードからの失敗したタスクの回復、タスクの一時停止、強制終了などの操作もサポートします。

設計機能: 分散型で簡単にスケーラブルなビジュアル DAG ワークフロー タスク スケジューリング システム。データ処理プロセスにおける複雑な依存関係の解決に尽力し、データ処理プロセスですぐにスケジューリング システムを使用できるようにします。 その主な目的は次のとおりです

1. DAG 図を使用して、タスクの依存関係に従ってタスクを関連付けます。これにより、タスクの実行状況をリアルタイムで視覚的に監視できます。

2. さまざまなタスク タイプをサポート: シェル、MR、Spark、SQL (mysql、postgresql、hive、sparksql)、Python、サブプロセス、プロシージャなど。

3. ワークフローのスケジュールされたスケジューリング、依存関係のスケジューリング、手動スケジューリング、手動の一時停止/停止/再開をサポートし、失敗した再試行/アラーム、失敗した指定ノードからの回復、キルタスクなどの操作もサポートします。

4.ワークフロー優先度、タスク優先度、タスクフェイルオーバー、タスクタイムアウトアラーム/失敗をサポート

5. ワークフローのグローバル パラメーターとノードのカスタム パラメーター設定をサポートします。

6. リソース ファイルのオンライン アップロード/ダウンロードと管理をサポートし、オンライン ファイルの作成と編集をサポートします。

7.タスクログのオンライン表示とスクロール、ログのオンラインダウンロードなどをサポートします。

8. クラスター HA を実装し、Zookeeper を通じてマスター クラスターとワーカー クラスターの分散化を実現します。

9. マスター/ワーカーの CPU 負荷、メモリ、CPU のオンライン表示をサポート

10. ワークフロー実行履歴ツリー/ガントチャート表示、タスクステータス統計、プロセスステータス統計をサポートします。

11. 補数のサポート

12. マルチテナンシーのサポート

13. 国際化のサポート

14. パートナーが探索することを待っている人がさらにいます

拡大する