pipelines

Kubeflow パイプライン サービスの概要

Kubeflow は、Kubernetes 上での ML ワークフローのデプロイをシンプル、移植可能、スケーラブルにすることに特化した機械学習 (ML) ツールキットです。

Kubeflow パイプラインは、 Kubeflow Pipelines SDK を使用して構築された再利用可能なエンドツーエンド ML ワークフローです。

Kubeflow パイプライン サービスには次の目標があります。

• エンドツーエンドのオーケストレーション: エンドツーエンドの機械学習パイプラインのオーケストレーションを有効にし、簡素化します。
• 簡単な実験: 多数のアイデアやテクニックを試したり、さまざまなトライアル/実験を管理したりすることが簡単になります。
• 簡単な再利用: コンポーネントとパイプラインを再利用して、毎回再構築することなく、エンドツーエンドのソリューションをすばやくまとめることができます。

インストール

• Kubeflow パイプラインは、Kubeflow プラットフォームの一部としてインストールできます。あるいは、Kubeflow Pipelines をスタンドアロン サービスとしてデプロイすることもできます。

• Docker コンテナ ランタイムは、Kubernetes 1.20 以降では非推奨になりました。 Kubeflow Pipelines は、Kubeflow Pipelines 1.8 からデフォルトで Emissary Executor を使用するように切り替わりました。 Emissary executor はコンテナ ランタイムに依存しないため、任意のコンテナ ランタイムを使用して Kubernetes クラスタ上で Kubeflow Pipelines を実行できます。

ドキュメント

最初のパイプラインを開始し、Kubeflow Pipelines の概要で詳細情報を読んでください。

Kubeflow Pipelines SDK を使用するさまざまな方法をご覧ください。

API 仕様については、Kubeflow Pipelines API ドキュメントを参照してください。

Python SDK を使用してパイプラインを作成する場合は、Python SDK リファレンス ドキュメントを参照してください。

Kubeflow パイプラインへの貢献

Kubeflow Pipelines への貢献を開始する前に、「貢献方法」のガイドラインをお読みください。ソース コードから Kubeflow Pipelines を構築してデプロイする方法については、開発者ガイドをお読みください。

Kubeflow パイプライン コミュニティ ミーティング

会議は隔週水曜日午前 10 時から午前 11 時 (太平洋標準時) に開催されます。 カレンダー 会議に直接招待または参加する

会議メモ

Kubeflow パイプラインの Slack チャネル

#kubeflow-パイプライン

ブログ投稿

• Kubeflow Pipelines の概要 (Amy Unruh 著)
• Kubeflow 機械学習パイプラインを作成してデプロイする方法 (Lak Lakshmanan 著)
  • パート 1: Kubeflow 機械学習パイプラインを作成してデプロイする方法
  • パート 2: Jupyter ノートブックを Kubeflow ML パイプラインのコンポーネントとしてデプロイする方法
  • パート 3: Kubeflow ML パイプラインを使用して機械学習 (「MLOps」) で CI/CD を実行する方法
• Kubeflow Pipelines 2.0 の Tekton 最適化 (Tommy Li 著)

謝辞

Kubeflow パイプラインは、デフォルトで内部で Argo ワークフローを使用して、Kubernetes リソースを調整します。 Argo コミュニティは非常に協力的であり、非常に感謝しています。さらに、Tekton バックエンドも利用可能です。アクセスするには、「Kubeflow Pipelines with Tekton リポジトリ」を参照してください。