LLM アプリケーションのオープンソースの可観測性
New : セマンティック規約が OpenTelemetry の一部になりました。ディスカッションに参加して、LLM 可観測性の将来の形成にご協力ください。
JS/TS バージョンをお探しですか? OpenLLMetry-JS を確認してください。
OpenLLMetry は、OpenTelemetry 上に構築された拡張機能のセットで、LLM アプリケーションの完全な監視を可能にします。 OpenTelemetry を内部で使用しているため、既存の可観測性ソリューション (Datadog、Honeycomb など) に接続できます。
これは、Apache 2.0 ライセンスに基づいて Traceloop によって構築および保守されています。
このリポジトリには、LLM プロバイダーと Vector DB 用の標準 OpenTelemetry インストルメンテーションと、OpenLLMetry を簡単に開始できるようにする Traceloop SDK が含まれており、同時に可観測性スタックに接続できる標準 OpenTelemetry データを出力します。すでに OpenTelemetry を計測している場合は、任意の計測を直接追加することができます。
最も簡単に始める方法は、SDK を使用することです。完全なガイドについては、ドキュメントを参照してください。
SDKをインストールします。
pip インストール トレースループ SDK
次に、コードのインストルメントを開始するには、次の行をコードに追加するだけです。
fromtraceloop.sdk import TraceloopTraceloop.init()
それでおしまい。これで、OpenLLMetry を使用してコードをトレースできるようになりました。これをローカルで実行している場合は、バッチ送信を無効にして、トレースをすぐに確認できるようにすることをお勧めします。
Traceloop.init(disable_batch=True)
✅ トレースループ
✅ 公理
✅ Azureアプリケーションインサイト
✅ ブレイントラスト
✅ ダッシュ0
✅ データドッグ
✅ ダイナトレース
✅ グラファナ
✅ ハイライト
✅ ハニカム
✅ ハイパーDX
✅ IBMインスタナ
✅クラウドメイト
✅ ニューレリック
✅ OpenTelemetry コレクター
✅ Service Now クラウド可観測性
✅ シグノズ
✅ セントリー
✅スプランク
それぞれに接続する手順については、ドキュメントを参照してください。
OpenLLMetry は、DB、API 呼び出しなど、OpenTelemetry がすでに計測しているものすべてを計測できます。それに加えて、OpenAI や Anthropic、Chroma、Pinecone、Qdrant、Weaviate などの Vector DB への呼び出しなどを計測するカスタム拡張機能のセットを構築しました。
✅ OpenAI / Azure OpenAI
✅ 人間的
✅ 一貫性のある
✅ オラマ
✅ ミストラルAI
✅ ハグフェイス
✅ ベッドロック (AWS)
✅ SageMaker (AWS)
✅ 複製
✅ 頂点 AI (GCP)
✅ Google ジェネレーティブ AI (Gemini)
✅ IBM Watsonx AI
✅ 一緒にAI
✅ アレフアルファ
✅グロク
✅ クロマ
✅ 松ぼっくり
✅ クドラント
✅ ウィアベイト
✅ミルバス
✅ マルコ
✅ ランスDB
✅ ラングチェーン
✅ ラマインデックス
✅ 干し草の山
✅ LiteLLM
規模の大小に関わらず、私たちは貢献が大好きです ❤️ 開始方法についてはガイドをご覧ください。
どこから始めればよいかわかりませんか?あなたはできる:
チームメイトとの無料ペアリング セッションを予約してください。
Slack に参加して、そこで質問してください。
Slack (コミュニティおよび Traceloop チームとのライブ ディスカッション用)
GitHub ディスカッション (機能に関する会話の構築やより深い会話についてのヘルプ)
GitHub の問題 (OpenLLMetry の使用中に発生したバグやエラー)
Twitter (ニュースをいち早く入手)
このリポジトリに現在使用している素晴らしい名前を提案してくれた @patrickdebois に感謝します。