DolphinScheduler タスクスケジューリングシステム v3.2.2

JAVAソースコード

3.2.2

ダウンロード

Apache DolphinScheduler (incubator、旧名 EasyScheduler) は、ビッグデータの分散ワークフロータスクスケジューリングシステムであり、主にビッグデータの研究開発プロセスにおける ETL 処理の複雑な依存関係の問題を解決しますが、タスクの健全性状態を直感的に監視することはできません。 DolphinScheduler は DAG ストリーミング方式でタスクを組み立て、タスクの実行ステータスをリアルタイムで監視し、再試行、指定されたノードからの失敗したタスクの回復、タスクの一時停止、強制終了などの操作もサポートします。

設計機能: 分散型で簡単にスケーラブルなビジュアル DAG ワークフロータスクスケジューリングシステム。データ処理プロセスにおける複雑な依存関係の解決に尽力し、データ処理プロセスですぐにスケジューリングシステムを使用できるようにします。その主な目的は次のとおりです

1. DAG 図を使用して、タスクの依存関係に従ってタスクを関連付けます。これにより、タスクの実行状況をリアルタイムで視覚的に監視できます。

2. さまざまなタスクタイプをサポート: シェル、MR、Spark、SQL (mysql、postgresql、hive、sparksql)、Python、サブプロセス、プロシージャなど。

3. ワークフローのスケジュールされたスケジューリング、依存関係のスケジューリング、手動スケジューリング、手動の一時停止/停止/再開をサポートし、失敗した再試行/アラーム、失敗した指定ノードからの回復、キルタスクなどの操作もサポートします。

4.ワークフロー優先度、タスク優先度、タスクフェイルオーバー、タスクタイムアウトアラーム/失敗をサポート

5. ワークフローのグローバルパラメーターとノードのカスタムパラメーター設定をサポートします。

6. リソースファイルのオンラインアップロード/ダウンロードと管理をサポートし、オンラインファイルの作成と編集をサポートします。

7.タスクログのオンライン表示とスクロール、ログのオンラインダウンロードなどをサポートします。

8. クラスター HA を実装し、Zookeeper を通じてマスタークラスターとワーカークラスターの分散化を実現します。

9. マスター/ワーカーの CPU 負荷、メモリ、CPU のオンライン表示をサポート

10. ワークフロー実行履歴ツリー/ガントチャート表示、タスクステータス統計、プロセスステータス統計をサポートします。

11. 補数のサポート