llm starter pack

Un pack de démarrage LLM cloud natif

Conditions préalables

• Docker
• gentil
  • kind est « Kubernetes dans Docker », utilisé par le projet Kubernetes pour aider à tester les fonctionnalités et à exécuter des tests d'intégration. Il s'avère que c'est un moyen pratique pour quiconque de démarrer rapidement un cluster. Un grand merci à @bentheelder pour l'avoir développé ?? ??
• Kubectl
  • kubectl est la façon dont vous interagissez avec les k8 en utilisant la ligne de commande. Cela vous permet de devenir un chuchoteur de K8 :-)

Démarrer

Nous avons conçu quelques scripts pour que cette démo s'exécute le plus rapidement possible sur votre machine une fois que vous avez installé les prérequis.

Ce script :

• Créer un cluster aimable
• Appliquez les manifestes Kubernetes dont nous avons besoin pour notre démo de chatbot LLM
• Utilisez la redirection de port pour nous aider à accéder à notre service dans le navigateur afin que nous puissions poser nos questions LLM

Remarque : Après avoir appliqué les manifestes Kubernetes, notre cluster prendra environ 3 à 4 minutes pour télécharger les images, initialiser le LLM et démarrer les applications. Vous pouvez surveiller l'état des pods en exécutant kubectl get pods

./startup.sh

Démo

Ensuite, nous pouvons installer l'application de démonstration qui utilise le LLM.

./demo.sh

Si vous souhaitez supprimer ou détruire uniquement l'application de démonstration, vous pouvez exécuter

./teardown.sh

Fermer

Pour arrêter la démo, exécutez la commande suivante, qui :

• Supprimer les manifestes Kubernetes
• Supprimer la redirection de port
• Supprimer le cluster de genre

./shutdown.sh

Informations sur le système d'exploitation

Cette démo a été testée sur les systèmes d'exploitation suivants et fonctionnera si les conditions préalables sont installées.

• macOS
• Linux
• Fenêtres

Vérification

Ces images sont signées avec le cosignature de sigstore. Vous pouvez vérifier la signature en téléchargeant la clé cosign.pub à partir de ce dépôt et en exécutant la commande suivante :

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

Si vous créez ce dépôt, vous devriez lire la documentation sur la conservation des secrets dans github. Vous devez générer une nouvelle paire de clés avec cosign . La clé publique peut se trouver dans votre dépôt public (vos utilisateurs en ont besoin pour vérifier les signatures) et vous pouvez coller la clé privée dans Paramètres -> Secrets -> Actions.

Remerciements

Nous tenons à remercier Docker d'avoir partagé sa démo GenAI Stack avec nous. Nous avons utilisé leur démo comme point de départ pour cette démo. Vous pouvez trouver leur démo ici.

Nous souhaitons également remercier Weaveworks pour son projet Weaveworks Scope que nous avons utilisé pour nous aider à visualiser notre cluster Kubernetes. Vous pouvez retrouver leur projet ici.