LLM 申请的开源可观察性
新功能:我们的语义约定现在是 OpenTelemetry 的一部分!加入讨论并帮助我们塑造法学硕士可观察性的未来。
正在寻找 JS/TS 版本?查看 OpenLLMetry-JS。
OpenLLMetry 是一组基于 OpenTelemetry 构建的扩展,可让您对 LLM 应用程序具有完全的可观察性。由于它在底层使用 OpenTelemetry,因此可以连接到您现有的可观测性解决方案 - Datadog、Honeycomb 等。
它由 Traceloop 根据 Apache 2.0 许可证构建和维护。
该存储库包含适用于 LLM 提供程序和矢量数据库的标准 OpenTelemetry 仪器,以及 Traceloop SDK,可以轻松开始使用 OpenLLMetry,同时仍然输出可连接到可观测性堆栈的标准 OpenTelemetry 数据。如果您已经安装了 OpenTelemetry 仪器,则可以直接添加我们的任何仪器。
最简单的入门方法是使用我们的 SDK。如需完整指南,请访问我们的文档。
安装SDK:
pip 安装traceloop-sdk
然后,要开始检测您的代码,只需将此行添加到您的代码中:
从traceloop.sdk导入TraceloopTraceloop.init()
就是这样。您现在正在使用 OpenLLMetry 跟踪您的代码!如果您在本地运行此程序,您可能需要禁用批量发送,以便您可以立即看到跟踪:
Traceloop.init(disable_batch=True)
✅ 追踪循环
✅ 公理
✅ Azure 应用程序洞察
✅ 智囊团
✅ 冲刺0
✅ 数据狗
✅ 动态追踪
✅ 格拉法纳
✅ 突出显示
✅ 蜂窝状
✅ 超DX
✅ IBM Instana
✅ 云伴侣
✅ 新遗物
✅ 打开遥测收集器
✅ 立即服务云可观测性
✅ 签名Noz
✅ 哨兵
✅ 斯普朗克
请参阅我们的文档,了解有关连接到每一个的说明。
OpenLLMetry 可以检测 OpenTelemetry 已经检测的所有内容 - 例如数据库、API 调用等。最重要的是,我们构建了一组自定义扩展,用于检测您对 OpenAI 或 Anthropic 的调用,或者您的矢量数据库(如 Chroma、Pinecone、Qdrant 或 Weaviate)。
✅ OpenAI / Azure OpenAI
✅ 人为
✅ 凝聚力
✅ 奥拉马
✅ 米斯特拉尔人工智能
✅ 抱脸
✅ 基岩 (AWS)
✅ SageMaker (AWS)
✅ 复制
✅ 顶点人工智能 (GCP)
✅ 谷歌生成式人工智能(Gemini)
✅ IBM Watsonx 人工智能
✅ 一起人工智能
✅ 阿莱夫阿尔法
✅ 格罗克
✅ 色度
✅ 松果
✅ Qdrant
✅ 维维
✅ 米尔武斯
✅ 马可
✅ 兰斯数据库
✅ 浪链
✅ 骆驼指数
✅ 干草堆
✅ 莱特法学硕士
无论大小,我们都喜欢贡献❤️ 查看我们的指南以了解如何开始。
不确定从哪里开始?你可以:
与我们的一位队友预订一次免费配对课程!
加入我们的 Slack,并在那里向我们提出任何问题。
Slack(用于与社区和 Traceloop 团队进行实时讨论)
GitHub 讨论(帮助建立和更深入地讨论功能)
GitHub 问题(对于使用 OpenLLMetry 遇到的任何错误和错误)
Twitter(快速获取新闻)
感谢@patrickdebois,他为我们现在为这个存储库使用的伟大名称提出了建议!