obslab llm observability

EasyTravel GPT 旅行顾问

用 Python 编写的用于提供旅行建议的演示应用程序。 OpenTelemetry 提供的可观测信号。

使用 Ollama 和 PineCone 生成针对给定目的地的建议。

注意该产品不受 Dynatrace 官方支持！

自己尝试一下

• 在 Dynatrace Playground 上探索我们的示例仪表板。
• 利用我们详细的 Dynatrace 文档在您的环境中实现 AI 可观察性。

配置松果

前往 https://app.pinecone.io/ 并登录您的帐户。

1. 创建一个名为travel-advisor的新索引，其维度为3200 ， cosine指标为。

   该索引将存储我们的知识源，RAG 管道将使用该知识源来增强 LLM 的旅行推荐输出。参数 3200 是因为在此演示中，我们使用嵌入模型orca-mini:3b ，它返回 3200 个元素的向量。

2. 创建并运行索引后，我们可以创建一个 API 密钥来连接。

   按照有关身份验证的 Pinecone 文档获取 API 密钥以连接到您的 Pinecone 索引，并使用以下命令将其存储为 Kubernetes 密钥：

自己尝试一下

开发者信息如下

本地运行

通过运行ollama serve在本地启动 Ollama。对于此示例，我们将使用一个简单的模型orca-mini:3b 。您可以运行ollama run orca-mini:3b来拉取它。之后，您可以通过运行以下命令在本地启动应用程序。

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

部署在本地K8S集群上

您需要安装 Docker 或 Podman。

如果您还没有集群，请创建一个集群：

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

自定义并设置一些环境变量

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

运行部署脚本：

.devcontainer/deployment.sh