obslab llm observability

EasyTravel GPT 旅遊顧問

用 Python 編寫的用於提供旅行建議的演示應用程式。 OpenTelemetry 提供的可觀測訊號。

使用 Ollama 和 PineCone 產生針對給定目的地的建議。

注意該產品不受 Dynatrace 官方支援！

自己嘗試一下

• 在 Dynatrace Playground 上探索我們的範例儀表板。
• 利用我們詳細的 Dynatrace 文件在您的環境中實施 AI 可觀察性。

配置松果

前往 https://app.pinecone.io/ 並登入您的帳戶。

1. 建立一個名為travel-advisor的新索引，其維度為3200 ， cosine指標為。

   該索引將儲存我們的知識來源，RAG 管道將使用該知識來源來增強 LLM 的旅行推薦輸出。參數 3200 是因為在此示範中，我們使用嵌入模型orca-mini:3b ，它傳回 3200 個元素的向量。

2. 建立並運行索引後，我們可以建立一個 API 金鑰來連接。

   依照有關驗證的 Pinecone 文件取得 API 金鑰以連接到您的 Pinecone 索引，並使用下列命令將其儲存為 Kubernetes 金鑰：

自己嘗試一下

開發者資訊如下

本地運行

透過運行ollama serve在本地啟動 Ollama。對於此範例，我們將使用一個簡單的模型orca-mini:3b 。您可以執行ollama run orca-mini:3b來拉取它。之後，您可以透過執行以下命令在本機啟動應用程式。

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

部署在本地K8S叢集上

您需要安裝 Docker 或 Podman。

如果您還沒有集群，請建立一個集群：

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

自訂並設定一些環境變數

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

運行部署腳本：

.devcontainer/deployment.sh