obslab llm observability

ที่ปรึกษาการเดินทาง EasyTravel GPT

แอปพลิเคชั่นสาธิตการให้คำแนะนำการเดินทางที่เขียนด้วยภาษา Python สัญญาณการสังเกตโดย OpenTelemetry

ใช้ Ollama และ PineCone เพื่อสร้างคำแนะนำสำหรับจุดหมายปลายทางที่กำหนด

หมายเหตุ Dynatrace ผลิตภัณฑ์นี้ไม่ได้รับการสนับสนุนอย่างเป็นทางการ!

ลองด้วยตัวเอง

• สำรวจแดชบอร์ดตัวอย่างของเราบน Dynatrace Playground
• ใช้ความสามารถในการสังเกตของ AI ในสภาพแวดล้อมของคุณด้วยเอกสาร Dynatrace โดยละเอียดของเรา

กำหนดค่าไพน์โคน

ไปที่ https://app.pinecone.io/ และลงชื่อเข้าใช้บัญชีของคุณ

1. สร้างดัชนีใหม่ที่เรียกว่า travel-advisor ด้วยขนาด 3200 และเมตริก cosine

   ดัชนีจะจัดเก็บแหล่งความรู้ของเรา ซึ่งไปป์ไลน์ RAG จะใช้เพื่อเพิ่มผลลัพธ์คำแนะนำการเดินทางของ LLM พารามิเตอร์ 3200 เป็นเพราะสำหรับการสาธิตนี้ เราใช้โมเดลการฝัง orca-mini:3b ซึ่งส่งคืนเวกเตอร์ขององค์ประกอบ 3200

2. หลังจากสร้างและเรียกใช้ดัชนีแล้ว เราสามารถสร้างคีย์ API เพื่อเชื่อมต่อได้

   ปฏิบัติตามเอกสารประกอบของ Pinecone เกี่ยวกับการตรวจสอบสิทธิ์เพื่อรับคีย์ API เพื่อเชื่อมต่อกับดัชนี Pinecone ของคุณและจัดเก็บไว้เป็นความลับของ Kubernetes ด้วยคำสั่งต่อไปนี้:

ลองด้วยตัวเอง

ข้อมูลผู้พัฒนาด้านล่าง

เรียกใช้ในพื้นที่

เริ่ม Ollama ในเครื่องโดยเรียกใช้ ollama serve สำหรับตัวอย่างนี้ เราจะใช้โมเดลอย่างง่าย orca-mini:3b คุณสามารถดึงมันวิ่ง ollama run orca-mini:3b ได้ หลังจากนั้น คุณสามารถเริ่มแอปพลิเคชันในเครื่องได้โดยการรันคำสั่งต่อไปนี้

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

ปรับใช้บนคลัสเตอร์ K8S ภายในเครื่อง

คุณจะต้องติดตั้ง Docker หรือ Podman

สร้างคลัสเตอร์หากคุณยังไม่มี:

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

ปรับแต่งและตั้งค่าตัวแปรสภาพแวดล้อมบางอย่าง

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

รันสคริปต์การปรับใช้:

.devcontainer/deployment.sh