llm starter pack

Ein Cloud Native LLM-Starterpaket

Voraussetzungen

• Docker
• Art
  • kind ist „Kubernetes in Docker“ und wird vom Kubernetes-Projekt verwendet, um beim Testen von Funktionen und beim Ausführen von Integrationstests zu helfen. Es stellt sich heraus, dass es für jeden eine praktische Möglichkeit ist, schnell einen Cluster aufzubauen. Vielen Dank an @bentheelder für die Entwicklung?? ??
• kubectl
  • Mit kubectl interagieren Sie mit k8s über die Befehlszeile. So wirst du zum k8s-Flüsterer :-)

Start-up

Wir haben einige Skripte erstellt, damit diese Demo so schnell wie möglich auf Ihrem Computer ausgeführt werden kann, sobald Sie die Voraussetzungen installiert haben.

Dieses Skript wird:

• Erstellen Sie einen Art-Cluster
• Wenden Sie die Kubernetes-Manifeste an, die wir für unsere LLM-Chatbot-Demo benötigen
• Nutzen Sie die Portweiterleitung, um uns den Zugriff auf unseren Dienst im Browser zu erleichtern, damit wir unsere LLM-Fragen stellen können

Hinweis: Nach der Anwendung der Kubernetes-Manifeste benötigt unser Cluster etwa 3–4 Minuten, um die Bilder herunterzuladen, das LLM zu initialisieren und die Anwendungen zu starten. Sie können den Status der Pods überwachen, indem Sie kubectl get pods ausführen

./startup.sh

Demo

Als nächstes können wir die Demo-App installieren, die das LLM verwendet.

./demo.sh

Wenn Sie nur die Demo-App entfernen oder herunterfahren möchten, können Sie sie ausführen

./teardown.sh

Abschalten

Um die Demo zu beenden, führen Sie den folgenden Befehl aus, der Folgendes bewirkt:

• Entfernen Sie die Kubernetes-Manifeste
• Entfernen Sie die Portweiterleitung
• Löschen Sie den Artencluster

./shutdown.sh

Informationen zum Betriebssystem

Diese Demo wurde auf den folgenden Betriebssystemen getestet und funktioniert, wenn Sie die Voraussetzungen installiert haben.

• macOS
• Linux
• Windows

Überprüfung

Diese Bilder sind mit dem Cosign von sigstore signiert. Sie können die Signatur überprüfen, indem Sie den Schlüssel cosign.pub aus diesem Repo herunterladen und den folgenden Befehl ausführen:

cosign verify --key cosign.pub ghcr.io/cncf/llm-starter-pack:latest

Wenn Sie dieses Repo forken, sollten Sie die Dokumente zum Bewahren von Geheimnissen in Github lesen. Sie müssen mit cosign ein neues Schlüsselpaar generieren. Der öffentliche Schlüssel kann sich in Ihrem öffentlichen Repo befinden (Ihre Benutzer benötigen ihn, um die Signaturen zu überprüfen), und Sie können den privaten Schlüssel unter Einstellungen -> Geheimnisse -> Aktionen einfügen.

Danksagungen

Wir möchten Docker dafür danken, dass es seine GenAI-Stack-Demo mit uns geteilt hat. Wir haben ihre Demo als Ausgangspunkt für diese Demo verwendet. Ihre Demo finden Sie hier.

Wir möchten uns auch bei Weaveworks für ihr Weaveworks Scope-Projekt bedanken, das wir zur Visualisierung unseres Kubernetes-Clusters verwendet haben. Ihr Projekt finden Sie hier.