obslab llm observability

Asesor de viajes EasyTravel GPT

Aplicación de demostración para dar consejos de viaje escritos en Python. Señales de observabilidad por OpenTelemetry.

Utiliza Ollama y PineCone para generar consejos para un destino determinado.

Nota ¡ Este producto no cuenta con el respaldo oficial de Dynatrace!

Pruébalo tú mismo

• Explore nuestros paneles de muestra en Dynatrace Playground.
• Implemente la observabilidad de la IA en sus entornos con nuestra documentación detallada de Dynatrace.

Configurar piña

Dirígete a https://app.pinecone.io/ e inicia sesión en tu cuenta.

1. Cree un nuevo índice llamado travel-advisor con las dimensiones de 3200 y una métrica cosine .

   El índice almacenará nuestra fuente de conocimiento, que el canal RAG utilizará para aumentar la producción de recomendaciones de viaje del LLM. El parámetro 3200 se debe a que para esta demostración estamos usando el modelo de incrustación orca-mini:3b que devuelve un vector de 3200 elementos.

2. Después de crear y ejecutar el índice, podemos crear una clave API para conectarnos.

   Siga la documentación de Pinecone sobre autenticación para obtener la clave API para conectarse a su índice de Pinecone y almacenarla como secretos de Kubernetes con el siguiente comando:

Pruébalo tú mismo

Información del desarrollador a continuación

Ejecutar localmente

Inicie Ollama localmente ejecutando ollama serve . Para este ejemplo, usaremos un modelo simple, orca-mini:3b . Puedes ejecutarlo ejecutando ollama run orca-mini:3b . Luego, puede iniciar la aplicación localmente ejecutando el siguiente comando.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

Implementar en un clúster K8S local

Necesitará tener instalado Docker o Podman.

Cree un clúster si aún no tiene uno:

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

Personaliza y establece algunas variables de entorno.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

Ejecute el script de implementación:

.devcontainer/deployment.sh