ai on gke

GKE 資產上的 AI

該儲存庫包含與 Google Kubernetes Engine (GKE) 上的 AI/ML 工作負載相關的資產。

概述

使用 Google Kubernetes Engine (GKE) 平台編排功能執行最佳化的 AI/ML 工作負載。強大的 AI/ML 平台考慮以下幾層：

• 支援 GPU 和 TPU 進行大規模訓練和服務工作負載的基礎架構編排
• 與分散式運算和資料處理框架靈活集成
• 支援同一基礎設施上的多個團隊，以最大限度地利用資源

基礎設施

AI-on-GKE 應用程式模組假設您已經擁有一個正常運作的 GKE 叢集。如果沒有，請依照基礎架構/README.md 下的說明安裝標準或 Autopilot GKE 叢集。

 .
├── LICENSE
├── README.md
├── infrastructure
│   ├── README.md
│   ├── backend.tf
│   ├── main.tf
│   ├── outputs.tf
│   ├── platform.tfvars
│   ├── variables.tf
│   └── versions.tf
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
└── tutorial.md

若要部署新的 GKE 集群，請使用適當的值更新platform.tfvars文件，然後執行下列 terraform 命令：

 terraform init
terraform apply -var-file platform.tfvars

應用領域

回購結構如下圖所示：

 .
├── LICENSE
├── Makefile
├── README.md
├── applications
│   ├── jupyter
│   └── ray
├── contributing.md
├── dcgm-on-gke
│   ├── grafana
│   └── quickstart
├── gke-a100-jax
│   ├── Dockerfile
│   ├── README.md
│   ├── build_push_container.sh
│   ├── kubernetes
│   └── train.py
├── gke-batch-refarch
│   ├── 01_gke
│   ├── 02_platform
│   ├── 03_low_priority
│   ├── 04_high_priority
│   ├── 05_compact_placement
│   ├── 06_jobset
│   ├── Dockerfile
│   ├── README.md
│   ├── cloudbuild-create.yaml
│   ├── cloudbuild-destroy.yaml
│   ├── create-platform.sh
│   ├── destroy-platform.sh
│   └── images
├── gke-disk-image-builder
│   ├── README.md
│   ├── cli
│   ├── go.mod
│   ├── go.sum
│   ├── imager.go
│   └── script
├── gke-dws-examples
│   ├── README.md
│   ├── dws-queues.yaml
│   ├── job.yaml
│   └── kueue-manifests.yaml
├── gke-online-serving-single-gpu
│   ├── README.md
│   └── src
├── gke-tpu-examples
│   ├── single-host-inference
│   └── training
├── indexed-job
│   ├── Dockerfile
│   ├── README.md
│   └── mnist.py
├── jobset
│   └── pytorch
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
├── saxml-on-gke
│   ├── httpserver
│   └── single-host-inference
├── training-single-gpu
│   ├── README.md
│   ├── data
│   └── src
├── tutorial.md
└── tutorials
    ├── e2e-genai-langchain-app
    ├── finetuning-llama-7b-on-l4
    └── serving-llama2-70b-on-l4-gpus

Jupyter 中心

此儲存庫包含用於在 Google Kubernetes Engine 上執行 JupyterHub 的 Terraform 範本。我們還提供了一些範例筆記本（位於applications/ray/example_notebooks下），其中包括一個使用 Ray AIR 為 GPT-J-6B 模型提供服務的筆記本（請參閱此處了解原始筆記本）。要運行這些，請按照 applications/ray/README.md 中的說明安裝 Ray 叢集。

此 jupyter 模組為每個使用者部署一次以下資源：

• JupyterHub 部署
• 使用者命名空間
• Kubernetes 服務帳戶

在此處詳細了解 GKE 上的 JupyterHub

射線

此儲存庫包含用於在 Google Kubernetes Engine 上執行 Ray 的 Terraform 範本。

此模組為每個使用者部署一次以下內容：

• 使用者命名空間
• Kubernetes 服務帳戶
• Kuberay集群
• 普羅米修斯監控
• 記錄容器

在此處詳細了解 GKE 上的 Ray

重要考慮因素

• 確保將 terraform 後端配置為使用 GCS 儲存桶，以便在不同環境中保留 terraform 狀態。

授權

• 使用此儲存庫中包含的資產必須遵守 Google 的 AI 原則
• 查看許可證