ai on gke

GKE 资产上的 AI

该存储库包含与 Google Kubernetes Engine (GKE) 上的 AI/ML 工作负载相关的资产。

概述

使用 Google Kubernetes Engine (GKE) 平台编排功能运行优化的 AI/ML 工作负载。强大的 AI/ML 平台考虑以下几层：

• 支持 GPU 和 TPU 进行大规模训练和服务工作负载的基础架构编排
• 与分布式计算和数据处理框架灵活集成
• 支持同一基础设施上的多个团队，以最大限度地利用资源

基础设施

AI-on-GKE 应用程序模块假设您已经拥有一个正常运行的 GKE 集群。如果没有，请按照基础架构/README.md 下的说明安装标准或 Autopilot GKE 集群。

 .
├── LICENSE
├── README.md
├── infrastructure
│   ├── README.md
│   ├── backend.tf
│   ├── main.tf
│   ├── outputs.tf
│   ├── platform.tfvars
│   ├── variables.tf
│   └── versions.tf
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
└── tutorial.md

要部署新的 GKE 集群，请使用适当的值更新platform.tfvars文件，然后执行以下 terraform 命令：

 terraform init
terraform apply -var-file platform.tfvars

应用领域

回购结构如下所示：

 .
├── LICENSE
├── Makefile
├── README.md
├── applications
│   ├── jupyter
│   └── ray
├── contributing.md
├── dcgm-on-gke
│   ├── grafana
│   └── quickstart
├── gke-a100-jax
│   ├── Dockerfile
│   ├── README.md
│   ├── build_push_container.sh
│   ├── kubernetes
│   └── train.py
├── gke-batch-refarch
│   ├── 01_gke
│   ├── 02_platform
│   ├── 03_low_priority
│   ├── 04_high_priority
│   ├── 05_compact_placement
│   ├── 06_jobset
│   ├── Dockerfile
│   ├── README.md
│   ├── cloudbuild-create.yaml
│   ├── cloudbuild-destroy.yaml
│   ├── create-platform.sh
│   ├── destroy-platform.sh
│   └── images
├── gke-disk-image-builder
│   ├── README.md
│   ├── cli
│   ├── go.mod
│   ├── go.sum
│   ├── imager.go
│   └── script
├── gke-dws-examples
│   ├── README.md
│   ├── dws-queues.yaml
│   ├── job.yaml
│   └── kueue-manifests.yaml
├── gke-online-serving-single-gpu
│   ├── README.md
│   └── src
├── gke-tpu-examples
│   ├── single-host-inference
│   └── training
├── indexed-job
│   ├── Dockerfile
│   ├── README.md
│   └── mnist.py
├── jobset
│   └── pytorch
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
├── saxml-on-gke
│   ├── httpserver
│   └── single-host-inference
├── training-single-gpu
│   ├── README.md
│   ├── data
│   └── src
├── tutorial.md
└── tutorials
    ├── e2e-genai-langchain-app
    ├── finetuning-llama-7b-on-l4
    └── serving-llama2-70b-on-l4-gpus

Jupyter 中心

此存储库包含用于在 Google Kubernetes Engine 上运行 JupyterHub 的 Terraform 模板。我们还提供了一些示例笔记本（位于applications/ray/example_notebooks下），其中包括一个使用 Ray AIR 为 GPT-J-6B 模型提供服务的笔记本（请参阅此处了解原始笔记本）。要运行这些，请按照 applications/ray/README.md 中的说明安装 Ray 集群。

此 jupyter 模块为每个用户部署一次以下资源：

• JupyterHub 部署
• 用户命名空间
• Kubernetes 服务帐户

在此处详细了解 GKE 上的 JupyterHub

射线

此存储库包含用于在 Google Kubernetes Engine 上运行 Ray 的 Terraform 模板。

该模块为每个用户部署一次以下内容：

• 用户命名空间
• Kubernetes 服务帐户
• Kuberay集群
• 普罗米修斯监控
• 记录容器

在此处详细了解 GKE 上的 Ray

重要考虑因素

• 确保将 terraform 后端配置为使用 GCS 存储桶，以便在不同环境中保留 terraform 状态。

许可

• 使用此存储库中包含的资产必须遵守 Google 的 AI 原则
• 查看许可证