ai on gke

AI pada Aset GKE

Repositori ini berisi aset yang terkait dengan beban kerja AI/ML di Google Kubernetes Engine (GKE).

Ringkasan

Jalankan beban kerja AI/ML yang dioptimalkan dengan kemampuan orkestrasi platform Google Kubernetes Engine (GKE). Platform AI/ML yang tangguh mempertimbangkan lapisan berikut:

• Orkestrasi infrastruktur yang mendukung GPU dan TPU untuk pelatihan dan melayani beban kerja dalam skala besar
• Integrasi fleksibel dengan kerangka komputasi terdistribusi dan pemrosesan data
• Dukungan untuk banyak tim di infrastruktur yang sama untuk memaksimalkan pemanfaatan sumber daya

Infrastruktur

Modul aplikasi AI-on-GKE mengasumsikan Anda sudah memiliki cluster GKE yang berfungsi. Jika tidak, ikuti petunjuk di bagian infrastruktur/README.md untuk menginstal cluster GKE Standar atau Autopilot.

 .
├── LICENSE
├── README.md
├── infrastructure
│   ├── README.md
│   ├── backend.tf
│   ├── main.tf
│   ├── outputs.tf
│   ├── platform.tfvars
│   ├── variables.tf
│   └── versions.tf
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
└── tutorial.md

Untuk men-deploy cluster GKE baru, perbarui file platform.tfvars dengan nilai yang sesuai, lalu jalankan perintah terraform di bawah:

 terraform init
terraform apply -var-file platform.tfvars

Aplikasi

Struktur repo terlihat seperti ini:

 .
├── LICENSE
├── Makefile
├── README.md
├── applications
│   ├── jupyter
│   └── ray
├── contributing.md
├── dcgm-on-gke
│   ├── grafana
│   └── quickstart
├── gke-a100-jax
│   ├── Dockerfile
│   ├── README.md
│   ├── build_push_container.sh
│   ├── kubernetes
│   └── train.py
├── gke-batch-refarch
│   ├── 01_gke
│   ├── 02_platform
│   ├── 03_low_priority
│   ├── 04_high_priority
│   ├── 05_compact_placement
│   ├── 06_jobset
│   ├── Dockerfile
│   ├── README.md
│   ├── cloudbuild-create.yaml
│   ├── cloudbuild-destroy.yaml
│   ├── create-platform.sh
│   ├── destroy-platform.sh
│   └── images
├── gke-disk-image-builder
│   ├── README.md
│   ├── cli
│   ├── go.mod
│   ├── go.sum
│   ├── imager.go
│   └── script
├── gke-dws-examples
│   ├── README.md
│   ├── dws-queues.yaml
│   ├── job.yaml
│   └── kueue-manifests.yaml
├── gke-online-serving-single-gpu
│   ├── README.md
│   └── src
├── gke-tpu-examples
│   ├── single-host-inference
│   └── training
├── indexed-job
│   ├── Dockerfile
│   ├── README.md
│   └── mnist.py
├── jobset
│   └── pytorch
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
├── saxml-on-gke
│   ├── httpserver
│   └── single-host-inference
├── training-single-gpu
│   ├── README.md
│   ├── data
│   └── src
├── tutorial.md
└── tutorials
    ├── e2e-genai-langchain-app
    ├── finetuning-llama-7b-on-l4
    └── serving-llama2-70b-on-l4-gpus

Pusat Jupyter

Repositori ini berisi template Terraform untuk menjalankan JupyterHub di Google Kubernetes Engine. Kami juga menyertakan beberapa contoh notebook (di bawah applications/ray/example_notebooks ), termasuk yang melayani model GPT-J-6B dengan Ray AIR (lihat di sini untuk notebook aslinya). Untuk menjalankannya, ikuti instruksi di application/ray/README.md untuk menginstal cluster Ray.

Modul jupyter ini menyebarkan sumber daya berikut, satu kali per pengguna:

• Penerapan JupyterHub
• Ruang nama pengguna
• Akun layanan Kubernetes

Pelajari lebih lanjut tentang JupyterHub di GKE di sini

Sinar

Repositori ini berisi template Terraform untuk menjalankan Ray di Google Kubernetes Engine.

Modul ini menyebarkan hal berikut, satu kali per pengguna:

• Ruang nama pengguna
• Akun layanan Kubernetes
• Gugus Kuberay
• Pemantauan Prometheus
• Kontainer pencatatan

Pelajari lebih lanjut tentang Ray di GKE di sini

Pertimbangan Penting

• Pastikan untuk mengonfigurasi backend terraform untuk menggunakan bucket GCS, agar status terraform dapat dipertahankan di berbagai lingkungan.

Perizinan

• Penggunaan aset yang terdapat dalam repositori ini tunduk pada kepatuhan terhadap Prinsip AI Google
• Lihat LISENSI