openllmetry

Observabilitas sumber terbuka untuk aplikasi LLM Anda

Memulai »

Kendur | Dokumen | Situs web

Baru : Konvensi semantik kami sekarang menjadi bagian dari OpenTelemetry! Bergabunglah dalam diskusi dan bantu kami membentuk masa depan observabilitas LLM.

Mencari versi JS/TS? Lihat OpenLLMetry-JS.

OpenLLMetry adalah sekumpulan ekstensi yang dibangun di atas OpenTelemetry yang memberi Anda kemampuan observasi lengkap terhadap aplikasi LLM Anda. Karena menggunakan OpenTelemetry, ini dapat dihubungkan ke solusi observasi yang ada - Datadog, Honeycomb, dan lainnya.

Itu dibangun dan dikelola oleh Traceloop di bawah lisensi Apache 2.0.

Repo berisi instrumentasi OpenTelemetry standar untuk penyedia LLM dan DB Vektor, serta Traceloop SDK yang memudahkan untuk memulai OpenLLMetry, sambil tetap mengeluarkan data OpenTelemetry standar yang dapat dihubungkan ke tumpukan observabilitas Anda. Jika Anda sudah memiliki instrumen OpenTelemetry, Anda dapat menambahkan instrumentasi kami secara langsung.

Memulai

Cara termudah untuk memulai adalah dengan menggunakan SDK kami. Untuk panduan lengkap, buka dokumen kami.

Instal SDK:

 pip instal traceloop-sdk

Lalu, untuk mulai melengkapi kode Anda, cukup tambahkan baris ini ke kode Anda:

 dari traceloop.sdk impor TraceloopTraceloop.init()

Itu saja. Anda sekarang menelusuri kode Anda dengan OpenLLMetry! Jika Anda menjalankan ini secara lokal, Anda mungkin ingin menonaktifkan pengiriman batch, sehingga Anda dapat segera melihat jejaknya:

 Traceloop.init(disable_batch=Benar)

⏫ Tujuan yang didukung (dan diuji).

• ✅ Jejak jejak

• ✅ Aksioma

• ✅ Wawasan Aplikasi Azure

• ✅ Kepercayaan otak

• ✅ Tanda hubung0

• ✅ Anjing Data

• ✅ Dynatrace

• ✅ Grafana

• ✅ Sorot

• ✅ Sarang Lebah

• ✅ HiperDX

• ✅IBM Instana

• ✅ Teman Kloud

• ✅ Peninggalan Baru

• ✅ Kolektor OpenTelemetri

• ✅ Layanan Sekarang Observabilitas Cloud

• ✅ Tanda Noz

• ✅ Penjaga

• ✅ Splunk

Lihat dokumen kami untuk petunjuk cara menghubungkan ke masing-masing dokumen.

Apa yang kita instrumenkan?

OpenLLMetry dapat menginstrumentasikan segala sesuatu yang sudah diinstrumentasikan OpenTelemetry - jadi hal-hal seperti DB Anda, panggilan API, dan banyak lagi. Selain itu, kami membuat serangkaian ekstensi khusus yang melengkapi hal-hal seperti panggilan Anda ke OpenAI atau Anthropic, atau DB Vektor Anda seperti Chroma, Pinecone, Qdrant, atau Weaviate.

• ✅ OpenAI/Azure OpenAI

• ✅ Antropis

• ✅ Koheren

• ✅ Ollama

• ✅ AI Mistral

• ✅ Memeluk Wajah

• ✅ Batuan Dasar (AWS)

• ✅ Pembuat Sage (AWS)

• ✅ Replikasi

• ✅ Verteks AI (GCP)

• ✅ AI Generatif Google (Gemini)

• ✅IBM Watsonx AI

• ✅ Bersama AI

• ✅ Aleph Alfa

• ✅ Bagus

DB Vektor

• ✅ Kroma

• ✅ Biji pinus

• ✅ Qdrant

• ✅ Weaviasi

• ✅ Milvus

• ✅Marqo

• ✅ LanceDB

Kerangka kerja

• ✅ Rantai Lang

• ✅ Indeks Llama

• ✅ tumpukan jerami

• ✅ LiteLLM

Berkontribusi

Baik besar atau kecil, kami menyukai kontribusi ❤️ Lihat panduan kami untuk mengetahui cara memulai.

Tidak yakin harus mulai dari mana? Anda dapat:

• Pesan sesi berpasangan gratis dengan salah satu rekan tim kami!

• Bergabunglah dengan Slack kami, dan ajukan pertanyaan apa pun kepada kami di sana.

Komunitas & Dukungan

• Slack (Untuk diskusi langsung dengan komunitas dan tim Traceloop)

• Diskusi GitHub (Untuk bantuan dalam membangun dan percakapan lebih dalam tentang fitur)

• Masalah GitHub (Untuk bug dan kesalahan apa pun yang Anda temui saat menggunakan OpenLLMetry)

• Twitter (Dapatkan berita dengan cepat)

Terima kasih khusus

Kepada @patrickdebois, yang menyarankan nama hebat yang sekarang kami gunakan untuk repo ini!