Big Whale タスクスケジューリングシステム v1.3

JAVAソースコード

1.3

ダウンロード

Big Whale タスクスケジューリングシステムは、Meiyou Big Data によって開発された分散コンピューティングタスクスケジューリングシステムです。Spark や Flink などのバッチ処理タスクの DAG 実行スケジューリングと、ストリーム処理タスクのステータス監視とスケジューリングを提供します。また、繰り返しアプリケーションの検出機能も備えています。大容量メモリアプリケーション検出およびその他の機能。このサービスは Spring Boot 2.0 に基づいて開発されており、パッケージ化された後に実行できます。

環境整備

Java 1.8以降

MySQL 5.1.0+

インストール

1. データベース作成: big-whale

2. データベーススクリプト big-whale.sql を実行します。

3. Spring Boot 環境に従って、関連するデータベースアカウントのパスワードと SMTP 情報を構成します。

4. 設定: big-whale.properties

設定項目の説明

ssh.user: スクリプト実行権限を持つ SSH リモートログインユーザー名 (プラットフォームはこのユーザーを統合スクリプト実行ユーザーとして使用します)

ssh.password: SSHリモートログインユーザーのパスワード

dingding.enabled: DingTalk アラートを有効にするかどうか

dingding.watcher-token: Dingding パブリックグループロボットトークン

yarn.app-memory-threshold: Yarn アプリケーションのメモリ制限 (単位: MB)、-1 は検出を無効にします

yarn.app-white-list: Yarn アプリケーションのホワイトリストリスト (リスト内のアプリケーションが要求するメモリが上限を超えているため、アラームは発行されません)

5. 変更: $FLINK_HOME/bin/flink、参照: flink (flink はタスクの送信時にローカルの jar パッケージしか読み取れないため、hdfs から jar パッケージをダウンロードし、スクリプト内の jar パッケージのパスパラメーターを置き換える必要があります)送信コマンドを実行します。)

6. パッケージング: mvn clean パッケージ

起動する

1. ポート 17070 が占有されているかどうかを確認し、占有されている場合は、占有されているプロセスを閉じるか、プロジェクトのポート番号構成を変更して再パッケージ化します。

2. big-whale.jar をターゲットディレクトリにコピーし、コマンド java -jar big-whale.jar を実行します。

初期設定

1. http://localhost:17070 を開きます。

2. アカウント「admin」とパスワード「admin」を入力します。

3. [権限管理] -> [ユーザー管理] をクリックし、現在のアカウントの電子メールアドレスを有効な既存の電子メールアドレスに変更します。変更しないと、電子メールの送信に失敗します。

4. クラスターの追加

クラスター管理 -> クラスター管理 -> 新規

「yarn管理アドレス」はYarn ResourceManagerのWEB UIアドレスです。

「パッケージストレージディレクトリ」は、パッケージが HDFS クラスターにアップロードされるときのストレージパスです (/data/big-whale/storage など)。