ai on gke

KI auf GKE Assets

Dieses Repository enthält Assets im Zusammenhang mit AI/ML-Arbeitslasten auf Google Kubernetes Engine (GKE).

Überblick

Führen Sie optimierte KI/ML-Arbeitslasten mit den Orchestrierungsfunktionen der Google Kubernetes Engine (GKE)-Plattform aus. Eine robuste KI/ML-Plattform berücksichtigt die folgenden Ebenen:

• Infrastruktur-Orchestrierung, die GPUs und TPUs für das Training und die Bereitstellung von Workloads im großen Maßstab unterstützt
• Flexible Integration mit verteilten Computer- und Datenverarbeitungs-Frameworks
• Unterstützung mehrerer Teams auf derselben Infrastruktur zur Maximierung der Ressourcennutzung

Infrastruktur

Bei den AI-on-GKE-Anwendungsmodulen wird davon ausgegangen, dass Sie bereits über einen funktionsfähigen GKE-Cluster verfügen. Wenn nicht, befolgen Sie die Anweisungen unter Infrastructure/README.md, um einen Standard- oder Autopilot-GKE-Cluster zu installieren.

 .
├── LICENSE
├── README.md
├── infrastructure
│   ├── README.md
│   ├── backend.tf
│   ├── main.tf
│   ├── outputs.tf
│   ├── platform.tfvars
│   ├── variables.tf
│   └── versions.tf
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
└── tutorial.md

Um einen neuen GKE-Cluster bereitzustellen, aktualisieren Sie die Datei platform.tfvars mit den entsprechenden Werten und führen Sie dann die folgenden Terraform-Befehle aus:

 terraform init
terraform apply -var-file platform.tfvars

Anwendungen

Die Repo-Struktur sieht so aus:

 .
├── LICENSE
├── Makefile
├── README.md
├── applications
│   ├── jupyter
│   └── ray
├── contributing.md
├── dcgm-on-gke
│   ├── grafana
│   └── quickstart
├── gke-a100-jax
│   ├── Dockerfile
│   ├── README.md
│   ├── build_push_container.sh
│   ├── kubernetes
│   └── train.py
├── gke-batch-refarch
│   ├── 01_gke
│   ├── 02_platform
│   ├── 03_low_priority
│   ├── 04_high_priority
│   ├── 05_compact_placement
│   ├── 06_jobset
│   ├── Dockerfile
│   ├── README.md
│   ├── cloudbuild-create.yaml
│   ├── cloudbuild-destroy.yaml
│   ├── create-platform.sh
│   ├── destroy-platform.sh
│   └── images
├── gke-disk-image-builder
│   ├── README.md
│   ├── cli
│   ├── go.mod
│   ├── go.sum
│   ├── imager.go
│   └── script
├── gke-dws-examples
│   ├── README.md
│   ├── dws-queues.yaml
│   ├── job.yaml
│   └── kueue-manifests.yaml
├── gke-online-serving-single-gpu
│   ├── README.md
│   └── src
├── gke-tpu-examples
│   ├── single-host-inference
│   └── training
├── indexed-job
│   ├── Dockerfile
│   ├── README.md
│   └── mnist.py
├── jobset
│   └── pytorch
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
├── saxml-on-gke
│   ├── httpserver
│   └── single-host-inference
├── training-single-gpu
│   ├── README.md
│   ├── data
│   └── src
├── tutorial.md
└── tutorials
    ├── e2e-genai-langchain-app
    ├── finetuning-llama-7b-on-l4
    └── serving-llama2-70b-on-l4-gpus

Jupyter-Hub

Dieses Repository enthält eine Terraform-Vorlage zum Ausführen von JupyterHub auf Google Kubernetes Engine. Wir haben auch einige Beispiel-Notebooks beigefügt (unter applications/ray/example_notebooks ), darunter eines, das ein GPT-J-6B-Modell mit Ray AIR bedient (das Original-Notebook finden Sie hier). Um diese auszuführen, befolgen Sie die Anweisungen unter „applications/ray/README.md“, um einen Ray-Cluster zu installieren.

Dieses Jupyter-Modul stellt die folgenden Ressourcen einmal pro Benutzer bereit:

• JupyterHub-Bereitstellung
• Benutzernamensraum
• Kubernetes-Dienstkonten

Erfahren Sie hier mehr über JupyterHub auf GKE

Ray

Dieses Repository enthält eine Terraform-Vorlage zum Ausführen von Ray auf Google Kubernetes Engine.

Dieses Modul stellt einmal pro Benutzer Folgendes bereit:

• Benutzernamensraum
• Kubernetes-Dienstkonten
• Kuberay-Cluster
• Prometheus-Überwachung
• Protokollierungscontainer

Erfahren Sie hier mehr über Ray auf GKE

Wichtige Überlegungen

• Stellen Sie sicher, dass Sie das Terraform-Backend für die Verwendung des GCS-Buckets konfigurieren, um den Terraform-Status in verschiedenen Umgebungen beizubehalten.

Lizenzierung

• Die Nutzung der in diesem Repository enthaltenen Assets unterliegt der Einhaltung der KI-Grundsätze von Google
• Siehe LIZENZ