obslab llm observability

Conseiller en voyages EasyTravel GPT

Application de démonstration pour donner des conseils de voyage écrite en Python. Signaux d'observabilité par OpenTelemetry.

Utilise Ollama et PineCone pour générer des conseils pour une destination donnée.

Remarque Ce produit n'est pas officiellement pris en charge par Dynatrace !

Essayez-le vous-même

• Découvrez nos exemples de tableaux de bord sur Dynatrace Playground.
• Implémentez l’observabilité de l’IA dans vos environnements grâce à notre documentation Dynatrace détaillée.

Configurer Pinecone

Rendez-vous sur https://app.pinecone.io/ et connectez-vous à votre compte.

1. Créez un nouvel index appelé travel-advisor avec les dimensions de 3200 et une métrique cosine .

   L'index stockera notre source de connaissances, que le pipeline RAG utilisera pour augmenter la sortie du LLM concernant la recommandation de voyage. Le paramètre 3200 est dû au fait que pour cette démo, nous utilisons le modèle d'intégration orca-mini:3b qui renvoie un vecteur de 3200 éléments.

2. Après avoir créé et exécuté l'index, nous pouvons créer une clé API pour nous connecter.

   Suivez la documentation Pinecone sur l'authentification pour obtenir la clé API pour vous connecter à votre index Pinecone et la stocker en tant que secrets Kubernetes avec la commande suivante :

Essayez-le vous-même

Informations sur le développeur ci-dessous

Exécuter localement

Démarrez Ollama localement en exécutant ollama serve . Pour cet exemple, nous utiliserons un modèle simple, orca-mini:3b . Vous pouvez le tirer en exécutant ollama run orca-mini:3b . Ensuite, vous pouvez démarrer l'application localement en exécutant la commande suivante.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

Déployer sur un cluster K8S local

Vous aurez besoin d’installer Docker ou Podman.

Créez un cluster si vous n'en avez pas déjà un :

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

Personnaliser et définir certaines variables d'environnement

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

Exécutez le script de déploiement :

.devcontainer/deployment.sh