obslab llm observability

EasyTravel GPT-Reiseberater

In Python geschriebene Demoanwendung zur Erteilung von Reisehinweisen. Beobachtbarkeitssignale von OpenTelemetry.

Verwendet Ollama und PineCone, um Ratschläge für ein bestimmtes Reiseziel zu generieren.

Hinweis Dieses Produkt wird von Dynatrace nicht offiziell unterstützt!

Probieren Sie es selbst aus

• Entdecken Sie unsere Beispiel-Dashboards auf dem Dynatrace Playground.
• Implementieren Sie KI-Beobachtbarkeit in Ihren Umgebungen mit unserer detaillierten Dynatrace-Dokumentation.

Pinecone konfigurieren

Gehen Sie zu https://app.pinecone.io/ und melden Sie sich bei Ihrem Konto an.

1. Erstellen Sie einen neuen Index namens travel-advisor mit der Dimension 3200 und einer cosine -Metrik.

   Der Index speichert unsere Wissensquelle, die die RAG-Pipeline verwenden wird, um die Ausgabe der Reiseempfehlung durch das LLM zu erweitern. Der Parameter 3200 liegt daran, dass wir für diese Demo das Einbettungsmodell orca-mini:3b verwenden, das einen Vektor mit 3200 Elementen zurückgibt.

2. Nachdem wir den Index erstellt und ausgeführt haben, können wir einen API-Schlüssel für die Verbindung erstellen.

   Befolgen Sie die Pinecone-Dokumentation zur Authentifizierung, um den API-Schlüssel für die Verbindung mit Ihrem Pinecone-Index zu erhalten und ihn mit dem folgenden Befehl als Kubernetes-Geheimnisse zu speichern:

Probieren Sie es selbst aus

Entwicklerinformationen unten

Lokal ausführen

Starten Sie Ollama lokal, indem Sie ollama serve ausführen. Für dieses Beispiel verwenden wir ein einfaches Modell, orca-mini:3b . Sie können es mit ollama run orca-mini:3b ausführen. Anschließend können Sie die Anwendung lokal starten, indem Sie den folgenden Befehl ausführen.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

Bereitstellung auf einem lokalen K8S-Cluster

Sie müssen Docker oder Podman installiert haben.

Erstellen Sie einen Cluster, falls Sie noch keinen haben:

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

Passen Sie einige Umgebungsvariablen an und legen Sie sie fest

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

Führen Sie das Bereitstellungsskript aus:

.devcontainer/deployment.sh