openllmetry

Наблюдение с открытым исходным кодом для вашего приложения LLM

Начать »

слабый | Документы | Веб-сайт

Новое : наши семантические соглашения теперь являются частью OpenTelemetry! Присоединяйтесь к обсуждению и помогите нам сформировать будущее наблюдаемости LLM.

Ищете версию JS/TS? Проверьте OpenLLMetry-JS.

OpenLLMetry — это набор расширений, созданных на основе OpenTelemetry, который обеспечивает полную возможность наблюдения за вашим приложением LLM. Поскольку внутри него используется OpenTelemetry, его можно подключить к существующим решениям для наблюдения — Datadog, Honeycomb и другим.

Он создан и поддерживается Traceloop под лицензией Apache 2.0.

Репозиторий содержит стандартные инструменты OpenTelemetry для поставщиков LLM и векторных баз данных, а также Traceloop SDK, который позволяет легко начать работу с OpenLLMetry, одновременно выводя стандартные данные OpenTelemetry, которые можно подключить к вашему стеку наблюдения. Если у вас уже есть инструменты OpenTelemetry, вы можете просто добавить любой из наших инструментов напрямую.

Начиная

Самый простой способ начать — использовать наш SDK. Полное руководство можно найти в нашей документации.

Установите SDK:

 pip установить трассировку-sdk

Затем, чтобы начать инструментировать свой код, просто добавьте в свой код следующую строку:

 из Traceloop.sdk импортировать TraceloopTraceloop.init()

Вот и все. Теперь вы отслеживаете свой код с помощью OpenLLMetry! Если вы запускаете это локально, вы можете отключить пакетную отправку, чтобы сразу увидеть следы:

 Traceloop.init(disable_batch=True)

⏫ Поддерживаемые (и протестированные) направления.

• ✅ Траселоп

• ✅ Аксиома

• ✅ Аналитика приложений Azure

• ✅ Мозговое доверие

• ✅ Даш0

• ✅ Датадог

• ✅ Дайнатрейс

• ✅ Графана

• ✅ Выделите

• ✅ Соты

• ✅ ГиперDX

• ✅ IBM Инстана

• ✅ КлаудМейт

• ✅ Новая реликвия

• ✅ Коллектор OpenTelemetry

• ✅ Облачная наблюдаемость Service Now

• ✅ СигНоз

• ✅ Часовой

• ✅ Спланк

Инструкции по подключению к каждому из них см. в нашей документации.

Что мы инструментируем?

OpenLLMetry может инструментировать все, что OpenTelemetry уже инструментирует, например, вашу базу данных, вызовы API и многое другое. Кроме того, мы создали набор пользовательских расширений, которые инструментируют такие вещи, как вызовы OpenAI или Anthropic или вашу векторную базу данных, такую ​​как Chroma, Pinecone, Qdrant или Weaviate.

• ✅ OpenAI / Azure OpenAI

• ✅ Антропный

• ✅ Согласованность

• ✅ Оллама

• ✅ Мистраль ИИ

• ✅ Обнимающее лицо

• ✅ Коренная порода (AWS)

• ✅ SageMaker (AWS)

• ✅ Репликация

• ✅ Вертексный искусственный интеллект (GCP)

• ✅ Генеративный искусственный интеллект Google (Близнецы)

• ✅ ИИ IBM Watsonx

• ✅ Вместе ИИ

• ✅ Алеф Альфа

• ✅ Грок

Векторные БД

• ✅ Цветность

• ✅ Сосновая шишка

• ✅ Кдрант

• ✅ Плетение

• ✅ Милвус

• ✅ Марко

• ✅ ЛансДБ

Рамки

• ✅ Лангчейн

• ✅ Индекс Ламы

• ✅ Стог сена

• ✅ ЛайтЛЛМ

Содействие

Независимо от того, большой или маленький, мы любим вносить вклад ❤️ Ознакомьтесь с нашим руководством, чтобы узнать, как начать.

Не знаете, с чего начать? Ты можешь:

• Закажите бесплатную сеанс парной игры с одним из наших товарищей по команде!

• Присоединяйтесь к нашему Slack и задавайте нам любые вопросы там.

Сообщество и поддержка

• Slack (для живого обсуждения с сообществом и командой Traceloop)

• Обсуждения GitHub (для помощи в создании и более глубокого обсуждения функций)

• Проблемы с GitHub (любые ошибки и ошибки, с которыми вы столкнулись при использовании OpenLLMetry)

• Twitter (быстро получайте новости)

Особая благодарность

Спасибо @patrickdebois, который предложил отличное имя, которое мы сейчас используем для этого репозитория!