openllmetry

Observabilidade de código aberto para seu aplicativo LLM

Comece »

Folga | Documentos | Site

Novidade : Nossas convenções semânticas agora fazem parte do OpenTelemetry! Participe da discussão e ajude-nos a moldar o futuro da observabilidade do LLM.

Procurando a versão JS/TS? Confira OpenLLMetry-JS.

OpenLLMetry é um conjunto de extensões criadas com base no OpenTelemetry que oferece observabilidade completa em seu aplicativo LLM. Por usar OpenTelemetry internamente, ele pode ser conectado às suas soluções de observabilidade existentes - Datadog, Honeycomb e outras.

É construído e mantido pela Traceloop sob a licença Apache 2.0.

O repositório contém instrumentações OpenTelemetry padrão para provedores LLM e bancos de dados vetoriais, bem como um SDK Traceloop que facilita a introdução ao OpenLLMetry, ao mesmo tempo que gera dados OpenTelemetry padrão que podem ser conectados à sua pilha de observabilidade. Se você já possui o OpenTelemetry instrumentado, basta adicionar qualquer uma de nossas instrumentações diretamente.

Começando

A maneira mais fácil de começar é usar nosso SDK. Para um guia completo, acesse nossos documentos.

Instale o SDK:

 pip instalar traceloop-sdk

Então, para começar a instrumentar seu código, basta adicionar esta linha ao seu código:

 de traceloop.sdk importar TraceloopTraceloop.init()

É isso. Agora você está rastreando seu código com OpenLLMetry! Se você estiver executando isso localmente, talvez queira desativar o envio em lote para poder ver os rastreamentos imediatamente:

 Traceloop.init(disable_batch=True)

⏫ Destinos suportados (e testados)

• ✅Traceloop

• ✅ Axioma

• ✅ Insights de aplicativos do Azure

• ✅ Confiança cerebral

• ✅ Dash0

• ✅ Datadog

• ✅ Dynatrace

• ✅Grafana

• ✅ Destaque

• ✅ Favo de mel

• ✅ HiperDX

• ✅ IBM Insta

• ✅ KloudMate

• ✅ Nova Relíquia

• ✅ Coletor OpenTelemetry

• ✅ Service Now Observabilidade na nuvem

• ✅ SigNoz

• ✅ Sentinela

• ✅ Espalhar

Consulte nossos documentos para obter instruções sobre como conectar-se a cada um deles.

O que instrumentamos?

OpenLLMetry pode instrumentar tudo o que o OpenTelemetry já instrumenta - coisas como seu banco de dados, chamadas de API e muito mais. Além disso, construímos um conjunto de extensões personalizadas que instrumentam coisas como suas chamadas para OpenAI ou Anthropic, ou seu banco de dados vetorial como Chroma, Pinecone, Qdrant ou Weaviate.

• ✅ OpenAI/Azure OpenAI

• ✅ Antrópico

• ✅ Coerente

• ✅ Olhama

• ✅ IA Mistral

• ✅ Abraçando o rosto

• ✅ Base (AWS)

• ✅SageMaker (AWS)

• ✅ Replicar

• ✅ Vertex AI (GCP)

• ✅ IA generativa do Google (Gêmeos)

• ✅ IBM Watsonx IA

• ✅ Juntos IA

• ✅ Aleph Alfa

• ✅ Groq

Bancos de dados vetoriais

• ✅ Croma

• ✅ Pinha

• ✅ Qdrant

• ✅ Tecer

• ✅ Milvus

• ✅ Marquê

• ✅LanceDB

Estruturas

• ✅ LangChain

• ✅ LhamaIndex

• ✅ Palheiro

• ✅ LiteLLM

Contribuindo

Sejam grandes ou pequenas, adoramos contribuições ❤️ Confira nosso guia para ver como começar.

Não sabe por onde começar? Você pode:

• Reserve uma sessão de emparelhamento gratuita com um de nossos companheiros de equipe!

• Junte-se ao nosso Slack e tire suas dúvidas lá.

Comunidade e suporte

• Slack (para discussão ao vivo com a comunidade e a equipe Traceloop)

• Discussões do GitHub (para obter ajuda na construção e conversas mais aprofundadas sobre recursos)

• Problemas do GitHub (para quaisquer bugs e erros que você encontrar ao usar o OpenLLMetry)

• Twitter (receba notícias rapidamente)

Agradecimentos especiais

Ao @patrickdebois, que sugeriu o ótimo nome que estamos usando neste repo!