openllmetry

Open-Source-Beobachtbarkeit für Ihre LLM-Anwendung

Beginnen Sie »

Locker | Dokumente | Webseite

Neu : Unsere semantischen Konventionen sind jetzt Teil von OpenTelemetry! Beteiligen Sie sich an der Diskussion und helfen Sie uns, die Zukunft der LLM-Beobachtbarkeit zu gestalten.

Suchen Sie nach der JS/TS-Version? Schauen Sie sich OpenLLMetry-JS an.

OpenLLMetry ist eine Reihe von Erweiterungen, die auf OpenTelemetry aufbauen und Ihnen eine vollständige Beobachtbarkeit Ihrer LLM-Anwendung ermöglichen. Da es unter der Haube OpenTelemetry nutzt, kann es mit Ihren bestehenden Observability-Lösungen – Datadog, Honeycomb und anderen – verbunden werden.

Es wird von Traceloop unter der Apache 2.0-Lizenz erstellt und verwaltet.

Das Repo enthält Standard-OpenTelemetry-Instrumentierungen für LLM-Anbieter und Vector-DBs sowie ein Traceloop-SDK, das den Einstieg in OpenLLMetry erleichtert und gleichzeitig Standard-OpenTelemetry-Daten ausgibt, die mit Ihrem Observability-Stack verbunden werden können. Wenn Sie bereits über eine OpenTelemetry-Instrumentierung verfügen, können Sie einfach jede unserer Instrumentierungen direkt hinzufügen.

Erste Schritte

Der einfachste Einstieg ist die Verwendung unseres SDK. Eine vollständige Anleitung finden Sie in unseren Dokumenten.

Installieren Sie das SDK:

 pip installiere Traceloop-SDK

Um dann mit der Instrumentierung Ihres Codes zu beginnen, fügen Sie einfach diese Zeile zu Ihrem Code hinzu:

 aus Traceloop.sdk TraceloopTraceloop.init() importieren

Das ist es. Sie verfolgen jetzt Ihren Code mit OpenLLMetry! Wenn Sie dies lokal ausführen, möchten Sie möglicherweise den Stapelversand deaktivieren, damit Sie die Spuren sofort sehen können:

 Traceloop.init(disable_batch=True)

⏫ Unterstützte (und getestete) Ziele

• ✅ Traceloop

• ✅ Axiom

• ✅ Azure Application Insights

• ✅ Braintrust

• ✅ Dash0

• ✅ Datenhund

• ✅ Dynatrace

• ✅ Grafana

• ✅ Hervorheben

• ✅ Wabe

• ✅ HyperDX

• ✅ IBM Instana

• ✅ KloudMate

• ✅ Neues Relikt

• ✅ OpenTelemetry Collector

• ✅ Service Now Cloud Observability

• ✅ SignNoz

• ✅ Wache

• ✅ Splunk

Anweisungen zum Herstellen einer Verbindung finden Sie in unseren Dokumenten.

Was instrumentieren wir?

OpenLLMetry kann alles instrumentieren, was OpenTelemetry bereits instrumentiert – also Dinge wie Ihre Datenbank, API-Aufrufe und mehr. Darüber hinaus haben wir eine Reihe benutzerdefinierter Erweiterungen erstellt, die Dinge wie Ihre Aufrufe an OpenAI oder Anthropic oder Ihre Vector DB wie Chroma, Pinecone, Qdrant oder Weaviate instrumentieren.

• ✅ OpenAI / Azure OpenAI

• ✅ Anthropisch

• ✅ Kohärent

• ✅ Ollama

• ✅ Mistral-KI

• ✅ HuggingFace

• ✅ Grundgestein (AWS)

• ✅ SageMaker (AWS)

• ✅ Replizieren

• ✅ Vertex AI (GCP)

• ✅ Google Generative AI (Gemini)

• ✅ IBM Watsonx KI

• ✅ Gemeinsam KI

• ✅ Aleph Alpha

• ✅ Groq

Vektor-DBs

• ✅ Chroma

• ✅ Tannenzapfen

• ✅ Qdrant

• ✅ Weben

• ✅ Milvus

• ✅ Marquo

• ✅ LanceDB

Rahmenwerke

• ✅ LangChain

• ✅ LamaIndex

• ✅ Heuhaufen

• ✅ LiteLLM

Mitwirken

Ob groß oder klein, wir lieben Spenden ❤️ Schauen Sie sich unseren Leitfaden an, um zu erfahren, wie Sie loslegen können.

Sie wissen nicht, wo Sie anfangen sollen? Du kannst:

• Buchen Sie eine kostenlose Pairing-Sitzung mit einem unserer Teamkollegen!

• Treten Sie unserem Slack bei und stellen Sie uns dort Ihre Fragen.

Gemeinschaft und Support

• Slack (Zur Live-Diskussion mit der Community und dem Traceloop-Team)

• GitHub-Diskussionen (Für Hilfe beim Aufbau und tiefergehende Gespräche über Funktionen)

• GitHub-Probleme (Für alle Bugs und Fehler, die bei der Verwendung von OpenLLMetry auftreten)

• Twitter (Schnell Neuigkeiten erhalten)

Besonderer Dank

An @patrickdebois, der den tollen Namen vorgeschlagen hat, den wir jetzt für dieses Repo verwenden!