Argo ワークフローとは何ですか?
Argo Workflows は、Kubernetes 上で並列ジョブを調整するためのオープンソースのコンテナネイティブ ワークフロー エンジンです。 Argo Workflows は、Kubernetes CRD (カスタム リソース定義) として実装されています。
- 各ステップがコンテナとなるワークフローを定義します。
- マルチステップのワークフローを一連のタスクとしてモデル化するか、有向非巡回グラフ (DAG) を使用してタスク間の依存関係をキャプチャします。
- Kubernetes 上の Argo Workflows を使用すると、機械学習やデータ処理のための計算集約型ジョブを短時間で簡単に実行できます。
Argo は、Cloud Native Computing Foundation (CNCF) の卒業プロジェクトです。
使用例
- 機械学習パイプライン
- データとバッチ処理
- インフラストラクチャの自動化
- CI/CD
- その他の使用例
Argo ワークフローを使用する理由
- Argo Workflows は、Kubernetes で最も人気のあるワークフロー実行エンジンです。
- 軽量で拡張性があり、使いやすいです。
- 従来の VM やサーバーベースの環境のオーバーヘッドや制限がない、コンテナー用にゼロから設計されています。
- クラウドに依存せず、任意の Kubernetes クラスター上で実行できます。
最新のアンケートで人々が言ったことを読む
Argo ワークフローを試す
次のいずれかを使用して Argo ワークフローを試すことができます。
- インタラクティブなトレーニング資料
- デモ環境にアクセスする
Argo ワークフローを使用するのは誰ですか?
約 200 以上の組織が Argo ワークフローを公式に使用しています
生態系
Argo ワークフローを使用または依存しているプロジェクトの一部 (完全なリストはこちら):
- アルゴイベント
- クーラー
- ヘラ
- カティブ
- ケドロ
- Kubeflow パイプライン
- Netflixメタフロー
- ワンパネル
- オーケストラ
- パイパー
- プランバー
- セルダン
- SQLフロー
クライアントライブラリ
Java、Golang、Python クライアントをチェックしてください。
クイックスタート
ドキュメント
ドキュメントを見る
特徴
Argo ワークフローが提供する機能の不完全なリスト:
- ワークフローを視覚化して管理するための UI
- アーティファクトのサポート (S3、Artifactory、Alibaba Cloud OSS、Azure Blob Storage、HTTP、Git、GCS、raw)
- よく使用されるワークフローをクラスターに保存するためのワークフロー テンプレート
- 後でアクセスできるように実行後にワークフローをアーカイブする
- cronを使用したスケジュールされたワークフロー
- REST API (HTTP および GRPC) を使用したサーバー インターフェイス
- DAG またはステップベースのワークフローの宣言
- ステップレベルの入力と出力 (アーティファクト/パラメータ)
- ループ
- パラメータ化
- 条件文
- タイムアウト (ステップおよびワークフロー レベル)
- 再試行 (ステップおよびワークフロー レベル)
- 再提出(メモ化)
- 一時停止と再開
- キャンセル
- K8s リソース オーケストレーション
- 終了フック (通知、クリーンアップ)
- 完了したワークフローのガベージ コレクション
- スケジューリング (アフィニティ/許容/ノード セレクター)
- ボリューム (一時/既存)
- 並列処理の制限
- デーモン化されたステップ
- DinD (ドッカーインドッカー)
- スクリプトのステップ
- イベント発行
- プロメテウスのメトリクス
- 複数の実行者
- 複数のポッドとワークフローのガベージ コレクション戦略
- ステップごとに自動的に計算されるリソース使用量
- Java/Golang/Python SDK
- ポッド中断バジェットのサポート
- シングルサインオン(OAuth2/OIDC)
- Webhook のトリガー
- CLI
- すぐに使えるカスタム Prometheus メトリクス
- Windowsコンテナのサポート
- 埋め込みウィジェット
- 多重ログビューア
コミュニティミーティング
私たちは毎月コミュニティ ミーティングを開催し、私たちとコミュニティがデモを披露し、プロジェクトの現在および将来の状況について話し合います。お気軽にご参加ください!コミュニティミーティングの情報、議事録、録画については、こちらをご覧ください。
Argo ワークフローへの参加は CNCF 行動規範によって管理されます
コミュニティのブログとプレゼンテーション
- Awesome-Argo: Argo に関連する素晴らしいプロジェクトとリソースの厳選されたリスト
- すべての自動化 - Argo イベント、ワークフローとパイプライン、CD、ロールアウトを組み合わせる方法
- Argo ワークフローとパイプライン - CI/CD、機械学習、その他の Kubernetes ワークフロー
- Argo Ansible の役割: OpenShift での Argo ワークフローのプロビジョニング
- Argo ワークフローと Apache Airflow の比較
- プロトタイプを超えて: Metaflow と Argo を使用した本番環境対応の ML システム
- Kubernetes 上の Argo を使用した CI/CD
- Argo ワークフローを使用して CI/CD パイプラインを定義する
- Manning Publication の分散機械学習パターン
- エンジニアリング クラウドネイティブ AI プラットフォーム
- Argo と Katib を使用した何千もの自動機械学習実験の管理
- Argo ワークフローで科学シミュレーションに革命を起こす
- 複数の Kubernetes クラスター間での Argo ワークフローの実行
- Kubernetes のスケーリング: Spark および Argo ワークフローを使用して大規模なバッチ ジョブを管理するためのベスト プラクティス
- オープンソース モデル管理のまとめ: Polyaxon、Argo、Seldon
- スケーラブルなデータ ワークフローを使用して 35 分で 200 の OpenStreetMap 抽出を生成
- Kubernetes 上の本番対応 AI プラットフォーム
- Argo 統合レビュー
- TGI Kubernetes と Joe Beda: Argo ワークフロー システム
プロジェクトリソース
- Argo プロジェクトの GitHub 組織
- アルゴのウェブサイト
- アルゴ・スラック
安全
SECURITY.mdを参照してください。