ai on gke Télécharger - ai on gke Téléchargement du code source

ai on gke

Autre code source

v1.7

Télécharger

IA sur les actifs GKE

Ce référentiel contient des ressources liées aux charges de travail AI/ML sur Google Kubernetes Engine (GKE).

Aperçu

Exécutez des charges de travail IA/ML optimisées grâce aux capacités d'orchestration de la plate-forme Google Kubernetes Engine (GKE). Une plateforme IA/ML robuste prend en compte les couches suivantes :

Orchestration d'infrastructure prenant en charge les GPU et les TPU pour la formation et le traitement des charges de travail à grande échelle
Intégration flexible avec des cadres de calcul distribué et de traitement de données
Prise en charge de plusieurs équipes sur la même infrastructure pour maximiser l'utilisation des ressources

Infrastructure

Les modules d'application AI-on-GKE supposent que vous disposez déjà d'un cluster GKE fonctionnel. Sinon, suivez les instructions sous infrastructure/README.md pour installer un cluster GKE standard ou Autopilot.

 .
├── LICENSE
├── README.md
├── infrastructure
│   ├── README.md
│   ├── backend.tf
│   ├── main.tf
│   ├── outputs.tf
│   ├── platform.tfvars
│   ├── variables.tf
│   └── versions.tf
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
└── tutorial.md

Pour déployer un nouveau cluster GKE, mettez à jour le fichier platform.tfvars avec les valeurs appropriées, puis exécutez les commandes Terraform ci-dessous :

 terraform init
terraform apply -var-file platform.tfvars

Applications

La structure du repo ressemble à ceci :

 .
├── LICENSE
├── Makefile
├── README.md
├── applications
│   ├── jupyter
│   └── ray
├── contributing.md
├── dcgm-on-gke
│   ├── grafana
│   └── quickstart
├── gke-a100-jax
│   ├── Dockerfile
│   ├── README.md
│   ├── build_push_container.sh
│   ├── kubernetes
│   └── train.py
├── gke-batch-refarch
│   ├── 01_gke
│   ├── 02_platform
│   ├── 03_low_priority
│   ├── 04_high_priority
│   ├── 05_compact_placement
│   ├── 06_jobset
│   ├── Dockerfile
│   ├── README.md
│   ├── cloudbuild-create.yaml
│   ├── cloudbuild-destroy.yaml
│   ├── create-platform.sh
│   ├── destroy-platform.sh
│   └── images
├── gke-disk-image-builder
│   ├── README.md
│   ├── cli
│   ├── go.mod
│   ├── go.sum
│   ├── imager.go
│   └── script
├── gke-dws-examples
│   ├── README.md
│   ├── dws-queues.yaml
│   ├── job.yaml
│   └── kueue-manifests.yaml
├── gke-online-serving-single-gpu
│   ├── README.md
│   └── src
├── gke-tpu-examples
│   ├── single-host-inference
│   └── training
├── indexed-job
│   ├── Dockerfile
│   ├── README.md
│   └── mnist.py
├── jobset
│   └── pytorch
├── modules
│   ├── gke-autopilot-private-cluster
│   ├── gke-autopilot-public-cluster
│   ├── gke-standard-private-cluster
│   ├── gke-standard-public-cluster
│   ├── jupyter
│   ├── jupyter_iap
│   ├── jupyter_service_accounts
│   ├── kuberay-cluster
│   ├── kuberay-logging
│   ├── kuberay-monitoring
│   ├── kuberay-operator
│   └── kuberay-serviceaccounts
├── saxml-on-gke
│   ├── httpserver
│   └── single-host-inference
├── training-single-gpu
│   ├── README.md
│   ├── data
│   └── src
├── tutorial.md
└── tutorials
    ├── e2e-genai-langchain-app
    ├── finetuning-llama-7b-on-l4
    └── serving-llama2-70b-on-l4-gpus

Centre Jupyter

Ce référentiel contient un modèle Terraform pour exécuter JupyterHub sur Google Kubernetes Engine. Nous avons également inclus quelques exemples de notebooks (sous applications/ray/example_notebooks ), dont un qui sert un modèle GPT-J-6B avec Ray AIR (voir ici pour le notebook original). Pour les exécuter, suivez les instructions sur applications/ray/README.md pour installer un cluster Ray.

Ce module jupyter déploie les ressources suivantes, une fois par utilisateur :