obslab llm observability

Penasihat Perjalanan GPT EasyTravel

Aplikasi demo untuk memberikan saran perjalanan yang ditulis dengan Python. Sinyal observasi oleh OpenTelemetry.

Menggunakan Ollama dan PineCone untuk menghasilkan saran untuk tujuan tertentu.

Catatan Produk ini tidak didukung secara resmi oleh Dynatrace!

Cobalah sendiri

• Jelajahi contoh dasbor kami di Dynatrace Playground.
• Terapkan kemampuan observasi AI di lingkungan Anda dengan Dokumentasi Dynatrace kami yang terperinci.

Konfigurasikan Biji Pinus

Buka https://app.pinecone.io/ dan masuk ke akun Anda.

1. Buat indeks baru bernama travel-advisor dengan dimensi 3200 dan metrik cosine .

   Indeks ini akan menyimpan sumber pengetahuan kami, yang akan digunakan oleh saluran RAG untuk meningkatkan keluaran rekomendasi perjalanan LLM. Parameternya 3200 karena untuk demo ini, kami menggunakan model penyematan orca-mini:3b yang mengembalikan vektor 3200 elemen.

2. Setelah membuat dan menjalankan indeks, kita dapat membuat kunci API untuk terhubung.

   Ikuti dokumentasi Pinecone tentang autentikasi untuk mendapatkan kunci API agar terhubung ke indeks Pinecone Anda dan menyimpannya sebagai rahasia Kubernetes dengan perintah berikut:

Cobalah sendiri

Informasi Pengembang Di Bawah

Jalankan Secara Lokal

Mulai Ollama secara lokal dengan menjalankan ollama serve . Untuk contoh ini, kita akan menggunakan model sederhana, orca-mini:3b . Anda dapat menjalankannya dengan menjalankan ollama run orca-mini:3b . Setelah itu, Anda dapat memulai aplikasi secara lokal dengan menjalankan perintah berikut.

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export OTEL_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com/api/v2/otlp
export API_TOKEN= < YOUR_DT_TOKEN >
python app.py

---

Terapkan pada Klaster K8S Lokal

Anda perlu menginstal Docker atau Podman.

Buat klaster jika Anda belum memilikinya:

kind create cluster --config .devcontainer/kind-cluster.yml --wait 300s

Sesuaikan dan atur beberapa variabel lingkungan

 export PINECONE_API_KEY= < YOUR_PINECONE_KEY > 
export DT_ENDPOINT=https:// < YOUR_DT_TENANT > .live.dynatrace.com
export DT_TOKEN= < YOUR_DT_TOKEN >

Jalankan skrip penerapan:

.devcontainer/deployment.sh