openllmetry
0.33.12
LLM 애플리케이션에 대한 오픈 소스 관찰 가능성
새로운 소식 : 의미론적 규칙이 이제 OpenTelemetry의 일부입니다! 토론에 참여하여 LLM 관찰 가능성의 미래를 만들어가는 데 도움을 주세요.
JS/TS 버전을 찾고 계십니까? OpenLLMetry-JS를 확인하세요.
OpenLLMetry는 LLM 애플리케이션에 대한 완전한 관찰성을 제공하는 OpenTelemetry를 기반으로 구축된 확장 세트입니다. 내부적으로 OpenTelemetry를 사용하기 때문에 Datadog, Honeycomb 등 기존 관찰 솔루션에 연결할 수 있습니다.
이는 Apache 2.0 라이센스에 따라 Traceloop에 의해 구축되고 유지 관리됩니다.
리포지토리에는 LLM 공급자 및 벡터 DB를 위한 표준 OpenTelemetry 계측뿐만 아니라 OpenLLMetry를 쉽게 시작하는 동시에 관찰 가능성 스택에 연결할 수 있는 표준 OpenTelemetry 데이터를 계속 출력할 수 있는 Traceloop SDK가 포함되어 있습니다. 이미 OpenTelemetry를 계측한 경우 계측 중 하나를 직접 추가할 수 있습니다.
시작하는 가장 쉬운 방법은 SDK를 사용하는 것입니다. 전체 가이드를 보려면 문서로 이동하세요.
SDK를 설치합니다.
pip 설치 Traceloop-SDK
그런 다음 코드 계측을 시작하려면 다음 줄을 코드에 추가하세요.
Traceloop.sdk에서 TraceloopTraceloop.init() 가져오기
그게 다야. 이제 OpenLLMetry를 사용하여 코드를 추적하고 있습니다! 로컬에서 실행하는 경우 일괄 전송을 비활성화하여 추적을 즉시 볼 수 있습니다.
Traceloop.init(disable_batch=True)
✅ Traceloop
✅ 공리
✅ Azure 애플리케이션 인사이트
✅ 두뇌 신뢰
✅ 대시0
✅ 데이터독
✅ 다이나트레이스
✅ 그라파나
✅ 하이라이트
✅ 벌집
✅ 하이퍼DX
✅ IBM 인스타나
✅ 클라우드메이트
✅ 새로운 유물
✅ OpenTelemetry 수집기
✅ Service Now 클라우드 관찰성
✅ 사인노즈
✅ 센트리
✅ 스플렁크
각각에 연결하는 방법에 대한 지침은 문서를 참조하세요.
OpenLLMetry는 OpenTelemetry가 이미 계측한 모든 것, 즉 DB, API 호출 등을 계측할 수 있습니다. 또한 OpenAI 또는 Anthropic에 대한 호출이나 Chroma, Pinecone, Qdrant 또는 Weaviate와 같은 벡터 DB를 계측하는 사용자 정의 확장 세트를 구축했습니다.
✅ OpenAI / Azure OpenAI
✅ 인류학
✅ 코히어
✅ 올라마
✅ 미스트랄 AI
✅ 포옹하는 얼굴
✅ 베드락(AWS)
✅ 세이지메이커(AWS)
✅ 복제
✅ 버텍스 AI(GCP)
✅ Google 생성 AI(Gemini)
✅ IBM Watsonx AI
✅ 함께하는 AI
✅ 알레프 알파
✅ 그로크
✅ 크로마
✅ 솔방울
✅ Qdrant
✅ 위비하다
✅ 밀버스
✅ 마르코
✅ 랜스DB
✅ 랭체인
✅ 라마지수
✅ 건초더미
✅ LiteLLM
크든 작든 우리는 기여를 좋아합니다 ❤️ 시작하는 방법을 알아보려면 가이드를 확인하세요.
어디서부터 시작해야 할지 모르시나요? 다음을 수행할 수 있습니다.
팀원 중 한 명과 무료 페어링 세션을 예약하세요!
Slack에 가입하고 거기에 질문을 남겨주세요.
Slack(커뮤니티 및 Traceloop 팀과의 실시간 토론용)
GitHub 토론(기능 구축 및 심층 대화에 도움이 필요함)
GitHub 문제(OpenLLMetry를 사용하면서 발생하는 버그 및 오류의 경우)
트위터(뉴스를 빠르게 받아보세요)
현재 이 저장소에 사용하고 있는 훌륭한 이름을 제안한 @patrickdebois에게!
