ai on gke

GKE アセット上の AI

このリポジトリには、Google Kubernetes Engine (GKE) 上の AI/ML ワークロードに関連するアセットが含まれています。

概要

Google Kubernetes Engine (GKE) プラットフォーム オーケストレーション機能を使用して、最適化された AI/ML ワークロードを実行します。堅牢な AI/ML プラットフォームでは、次のレイヤーが考慮されます。

• 大規模なワークロードのトレーニングとサービス提供のための GPU と TPU をサポートするインフラストラクチャ オーケストレーション
• 分散コンピューティングおよびデータ処理フレームワークとの柔軟な統合
• 同じインフラストラクチャ上で複数のチームをサポートし、リソースを最大限に活用します

インフラストラクチャー

AI-on-GKE アプリケーション モジュールは、機能する GKE クラスタがすでにあることを前提としています。そうでない場合は、infrastructur/README.md の手順に従って、Standard または Autopilot GKE クラスタをインストールします。

 .
├── LICENSE
├── README.md
├── infrastructure
│   ├── README.md
│   ├── backend.tf
│   ├── main.tf
│   ├── outputs.tf
│   ├── platform.tfvars
│   ├── variables.tf
│   └── versions.tf
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
└── tutorial.md

新しい GKE クラスタをデプロイするには、 platform.tfvarsファイルを適切な値で更新し、以下の terraform コマンドを実行します。

 terraform init
terraform apply -var-file platform.tfvars

アプリケーション

リポジトリの構造は次のようになります。

 .
├── LICENSE
├── Makefile
├── README.md
├── applications
│   ├── jupyter
│   └── ray
├── contributing.md
├── dcgm-on-gke
│   ├── grafana
│   └── quickstart
├── gke-a100-jax
│   ├── Dockerfile
│   ├── README.md
│   ├── build_push_container.sh
│   ├── kubernetes
│   └── train.py
├── gke-batch-refarch
│   ├── 01_gke
│   ├── 02_platform
│   ├── 03_low_priority
│   ├── 04_high_priority
│   ├── 05_compact_placement
│   ├── 06_jobset
│   ├── Dockerfile
│   ├── README.md
│   ├── cloudbuild-create.yaml
│   ├── cloudbuild-destroy.yaml
│   ├── create-platform.sh
│   ├── destroy-platform.sh
│   └── images
├── gke-disk-image-builder
│   ├── README.md
│   ├── cli
│   ├── go.mod
│   ├── go.sum
│   ├── imager.go
│   └── script
├── gke-dws-examples
│   ├── README.md
│   ├── dws-queues.yaml
│   ├── job.yaml
│   └── kueue-manifests.yaml
├── gke-online-serving-single-gpu
│   ├── README.md
│   └── src
├── gke-tpu-examples
│   ├── single-host-inference
│   └── training
├── indexed-job
│   ├── Dockerfile
│   ├── README.md
│   └── mnist.py
├── jobset
│   └── pytorch
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
├── saxml-on-gke
│   ├── httpserver
│   └── single-host-inference
├── training-single-gpu
│   ├── README.md
│   ├── data
│   └── src
├── tutorial.md
└── tutorials
    ├── e2e-genai-langchain-app
    ├── finetuning-llama-7b-on-l4
    └── serving-llama2-70b-on-l4-gpus

ジュピターハブ

このリポジトリには、Google Kubernetes Engine で JupyterHub を実行するための Terraform テンプレートが含まれています。また、Ray AIR を備えた GPT-J-6B モデルを提供するものなど、いくつかのサンプル ノートブック ( applications/ray/example_notebooksの下) も含まれています (元のノートブックについては、こちらを参照してください)。これらを実行するには、applications/ray/README.md の指示に従って Ray クラスターをインストールします。

この jupyter モジュールは、ユーザーごとに 1 回、次のリソースをデプロイします。

• JupyterHub のデプロイメント
• ユーザー名前空間
• Kubernetes サービス アカウント

GKE 上の JupyterHub の詳細については、こちらをご覧ください。

レイ

このリポジトリには、Google Kubernetes Engine で Ray を実行するための Terraform テンプレートが含まれています。

このモジュールは、ユーザーごとに 1 回、以下をデプロイします。

• ユーザー名前空間
• Kubernetes サービス アカウント
• Kuberay クラスター
• プロメテウスの監視
• ロギングコンテナ

Ray on GKE の詳細については、こちらをご覧ください。

重要な考慮事項

• 異なる環境間で Terraform の状態を保持するために、必ず GCS バケットを使用するように Terraform バックエンドを構成してください。

ライセンス

• このリポジトリに含まれるアセットの使用は、Google の AI 原則に準拠する必要があります。
• ライセンスを参照