langfuse

langfuse : 오픈 소스 LLM 엔지니어링 플랫폼

LLM 관찰 가능성, 신속한 관리, LLM 평가,
데이터 세트, LLM 메트릭 및 프롬프트 놀이터

가입 · 셀프 호스트 · 데모 (라이브 데이터)

문서 · 보고서 버그 · 기능 요청 · Changelog · 로드맵 · 불화

Langfuse는 지원 및 기능 요청을 위해 Github 토론을 사용합니다.
우리는 고용하고 있습니다. 제품 엔지니어링 및 개발자 관계에 참여하십시오 .

langfuse 개요

음성 오버를위한 무모한 비디오

langfuse-overview-3min.mp4

개발하다

• LLM Observability : 앱을 악기하고 LANGFUSE (QuickStart, Integrations Tracing)에 흔적을 섭취하기 시작합니다.
• langfuse UI : 복잡한 로그 검사 및 디버그 (데모, 추적)
• 프롬프트 관리 : Langfuse 내에서 프롬프트 관리, 버전 및 배포 (프롬프트 관리)
• 프롬프트 엔지니어링 : LLM 놀이터로 프롬프트를 테스트하고 반복합니다.

감시 장치

• LLM 분석 : 트랙 메트릭 (비용, 대기 시간, 품질) 및 대시 보드 및 데이터 내보내기 (분석)에서 통찰력을 얻습니다.
• LLM 평가 : LLM 완료의 점수를 수집 및 계산 (점수 및 평가)
  • Langfuse 내에서 실행 (모델 기반 평가) 및 LLM-A-A-Judge
  • 사용자 피드백 수집 (사용자 피드백)
  • langfuse에서 LLM 출력을 수동으로 점수

시험

• 실험 : 새 버전을 배포하기 전에 앱 동작을 추적 및 테스트
  • 데이터 세트는 배포하기 전에 예상 및 출력 쌍 및 벤치 마크 성능을 테스트 할 수 있습니다 (데이터 세트)
  • 응용 프로그램의 버전 및 릴리스 추적 (실험, 신속한 관리)

시작하세요

langfuse 클라우드

Langfuse 팀의 관리 배포, 관대 한 자유 계층 (취미 계획), 신용 카드가 필요하지 않습니다.

»langfuse 클라우드

langfuse를 사용한 자체 호스팅 오픈 소스 LLM 관찰 가능성

로컬 호스트 (docker)

 # Clone repository
git clone https://github.com/langfuse/langfuse.git
cd langfuse

# Run server and database
docker compose up -d

→ 로컬 배포에 대해 자세히 알아보십시오

셀프 호스트 (Docker)

Langfuse는 자조적으로 간단하고 계속 업데이트됩니다. 현재 단일 Docker 컨테이너와 Postgres 데이터베이스 만 필요합니다. → 자체 호스팅 지침

템플릿 배치 : 철도, GCP, AWS, Azure, Kubernetes 및 기타

시작하세요

API 키

시작하려면 langfuse 공개 및 비밀 키가 필요합니다. 여기에 가입하여 프로젝트 설정에서 찾으십시오.

데이터 수집 · 응용 프로그램 계측 · LANGFUSE를 사용하여 LLM 관찰 가능성

참고 : 기본 모델과 함께 LLM 응용 프로그램을 기기 할 수있는 완전 비동기, 입력 된 SDK를 사용하는 것이 좋습니다. 파이썬 (데코레이터) 및 JS/TS로 제공됩니다. SDK는 항상 데이터를 Langfuse에 섭취하는 가장 완벽하고 안정적인 방법입니다.

langfuse를 통합하려면 → QuickStart를 참조하십시오.

LLM 관찰 가능성 통합

완성	지원합니다	설명
SDK	파이썬, JS/TS	모든 유연성을 위해 SDK를 사용하는 수동 계측.
Openai	파이썬, JS/TS	OpenAI SDK의 드롭 인 교체를 사용한 자동 계측.
랭케인	파이썬, JS/TS	콜백 핸들러를 Langchain 응용 프로그램에 전달하여 자동 계측.
llamaindex	파이썬	llamaindex 콜백 시스템을 통한 자동 계측.
커다란 건초 더미	파이썬	건초 더미 컨텐츠 추적 시스템을 통한 자동 계측.
Litellm	Python, JS/TS (프록시 만)	LLM을 GPT의 교체 하락으로 사용하십시오. Azure, Openai, Cohere, Anthropic, Ollama, Vllm, Sagemaker, Huggingface, Replice (100+ LLM)를 사용하십시오.
Vercel ai SDK	JS/TS	개발자가 React, Next.js, Vue, Svelte, Node.js를 사용하여 AI 기반 애플리케이션을 구축 할 수 있도록 설계된 TypeScript Toolkit.
API		공개 API에 직접 전화하십시오. OpenApi 사양 사용 가능.

langfuse와 통합 된 패키지 :

이름	설명
강사	구조화 된 LLM 출력을 얻는 라이브러리 (JSON, Pydantic)
dify	코드 빌더가없는 오픈 소스 LLM 앱 개발 플랫폼.
올라마	자신의 기계에서 오픈 소스 LLM을 쉽게 실행하십시오.
미라 스코프	LLM 애플리케이션 구축을위한 Python 툴킷.
흐름	맞춤형 LLM 흐름에 대한 JS/T NO 코드 빌더.
langflow	랑케인 용 파이썬 기반 UI는 반응 흐름으로 설계되어 실험 및 프로토 타입 흐름을 쉽게 실험 할 수있는 방법을 제공합니다.

질문과 피드백

아이디어와 로드맵

• 로드맵
• Github 토론
• 기능 요청

지원 및 피드백

선호하는 순서대로 우리와 의사 소통하는 가장 좋은 방법 :

• Github 토론 (선호) : 아이디어, 지원 요청 및보고 버그 기여
• 불화 : 커뮤니티 지원
• 개인적으로 : Langfuse dot com에 문의하십시오

langfuse에 기여합니다

• 아이디어에 투표하십시오
• 문제에 대해 제기하고 의견을 제시하십시오
• PR 열기 - 개발 환경을 설정하는 방법에 대한 자세한 내용은 Contributing.md를 참조하십시오.

특허

이 저장소는 ee 폴더를 제외하고 MIT 라이센스가 부여됩니다. 자세한 내용은 라이센스 및 문서를 참조하십시오.

기타

데이터를 내보내기 위해 API를 가져 오십시오

다운 스트림 애플리케이션 (예 : 임베디드 분석)에서 데이터를 사용할 경로를 가져옵니다 . SDK (DOCS)를 통해 편리하게 액세스 할 수도 있습니다.

보안 및 개인 정보

우리는 데이터 보안 및 개인 정보를 진지하게 받아들입니다. 자세한 내용은 보안 및 개인 정보 보호 페이지를 참조하십시오.

원격 측정

기본적으로 Langfuse는 자체 호스팅 인스턴스의 기본 사용 통계를 중앙 집중식 서버 (Posthog)에 자동으로보고합니다.

이것은 우리가 다음에 도움이됩니다.

1. Langfuse가 어떻게 사용되는지 이해하고 가장 관련성이 높은 기능을 개선하십시오.
2. 내부 및 외부 (예 : 모금)보고에 대한 전반적인 사용량을 추적합니다.

데이터 중 어느 것도 제 3 자와 공유되지 않으며 민감한 정보는 포함되지 않습니다. 우리는 이것에 대해 매우 투명하고 싶습니다. 여기에서 수집 한 정확한 데이터를 찾을 수 있습니다.

TELEMETRY_ENABLED=false 설정하여 옵트 아웃 할 수 있습니다.

스타 역사