obslab llm observability

EasyTravel GPT Консультант по путешествиям

Демо-приложение для предоставления советов путешественникам, написанное на Python. Сигналы наблюдения от OpenTelemetry.

Использует Ollama и PineCone для генерации рекомендаций для данного пункта назначения.

Примечание. Этот продукт официально не поддерживается Dynatrace!

Попробуйте сами

• Изучите наши образцы информационных панелей на Dynatrace Playground.
• Внедрите возможность наблюдения за искусственным интеллектом в своих средах с помощью нашей подробной документации Dynatrace.

Настроить шишку

Перейдите на https://app.pinecone.io/ и войдите в свою учетную запись.

1. Создайте новый индекс под названием travel-advisor с размерами 3200 и cosine метрикой.

   В индексе будет храниться наш источник знаний, который конвейер RAG будет использовать для дополнения результатов рекомендаций LLM по поездкам. Параметр 3200 обусловлен тем, что в этой демонстрации мы используем модель внедрения orca-mini:3b , которая возвращает вектор из 3200 элементов.

2. После создания и запуска индекса мы можем создать ключ API для подключения.

   Следуйте документации Pinecone по аутентификации, чтобы получить ключ API для подключения к вашему индексу Pinecone и сохранить его как секреты Kubernetes с помощью следующей команды:

Попробуйте сами

Информация для разработчиков ниже

Запускать локально

Запустите Ollama локально, запустив ollama serve . В этом примере мы будем использовать простую модель orca-mini:3b . Вы можете запустить его, запустив ollama run orca-mini:3b . После этого вы можете запустить приложение локально, выполнив следующую команду.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

Развертывание в локальном кластере K8S

Вам понадобится установленный Docker или Podman.

Создайте кластер, если у вас его еще нет:

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

Настройте и установите некоторые переменные среды

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

Запустите скрипт развертывания:

.devcontainer/deployment.sh