obslab llm observability

Consultor de viagens EasyTravel GPT

Aplicativo de demonstração para dar conselhos de viagem escrito em Python. Sinais de observabilidade por OpenTelemetry.

Usa Ollama e PineCone para gerar conselhos para um determinado destino.

Nota Este produto não é oficialmente suportado pela Dynatrace!

Experimente você mesmo

• Explore nossos exemplos de painéis no Dynatrace Playground.
• Implemente a observabilidade de IA em seus ambientes com nossa documentação detalhada da Dynatrace.

Configurar pinha

Acesse https://app.pinecone.io/ e faça login em sua conta.

1. Crie um novo índice chamado travel-advisor com dimensões de 3200 e uma métrica cosine .

   O índice armazenará nossa fonte de conhecimento, que o pipeline RAG usará para aumentar a produção de recomendação de viagem do LLM. O parâmetro 3200 é porque para esta demonstração estamos usando o modelo de incorporação orca-mini:3b que retorna um vetor de 3200 elementos.

2. Depois de criar e executar o índice, podemos criar uma chave API para conectar.

   Siga a documentação do Pinecone sobre autenticação para obter a chave de API para conectar-se ao seu índice Pinecone e armazená-la como segredos do Kubernetes com o seguinte comando:

Experimente você mesmo

Informações do desenvolvedor abaixo

Execute localmente

Inicie o Ollama localmente executando ollama serve . Neste exemplo, usaremos um modelo simples, orca-mini:3b . Você pode puxá-lo executando ollama run orca-mini:3b . Depois, você pode iniciar o aplicativo localmente executando o seguinte comando.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

Implantar em um cluster K8S local

Você precisará do Docker ou Podman instalado.

Crie um cluster se ainda não tiver um:

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

Personalize e defina algumas variáveis ​​de ambiente

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

Execute o script de implantação:

.devcontainer/deployment.sh