openlit 다운로드 - openlit 소스 코드 다운로드

openlit

기타 소스코드

py-1.32.5

다운로드

관찰 가능성, 평가, 가드 레일, 프롬프트, 금고, 놀이터

AI 엔지니어링을위한 오픈 소스 플랫폼

문서 | QuickStart | 파이썬 SDK | TypeScript SDK |

로드맵 | 기능 요청 | 버그를보고하십시오

데모 .mp4

OpenLit을 사용하면 특히 생성 AI 및 LLM의 AI 개발 워크 플로우를 단순화 할 수 있습니다. LLM 실험, 프롬프트 구성 및 버전 작성 및 API 키를 안전하게 처리하는 것과 같은 필수 작업을 간소화합니다. 한 줄의 코드만으로 LLM, 벡터 데이터베이스 및 GPU를 포함하는 풀 스택 모니터링을 제공하는 OpenTelemetry-Native Observability를 활성화 할 수 있습니다. 이를 통해 개발자는 AI 기능 및 응용 프로그램을 자신있게 구축하여 테스트에서 프로덕션으로 원활하게 전환 할 수 있습니다.

이 프로젝트는 OpenTelemetry 커뮤니티와의 시맨틱 컨벤션을 자랑스럽게 따르고 유지하며, 최신 표준의 관찰 가능성과 일치하도록 지속적으로 업데이트됩니다.

⚡ 기능

Openlit 배너

? 분석 대시 보드 : 메트릭, 비용 및 사용자 상호 작용을 추적하는 자세한 대시 보드로 AI 애플리케이션의 건강 및 성능을 모니터링하여 전반적인 효율성을 명확하게 볼 수 있습니다.
? OpenTelemetry-Native Observability SDK : 기존 관측 성 도구에 흔적과 메트릭을 보내는 공급 업체 중립 SDK.
? 맞춤형 및 미세 조정 된 모델에 대한 비용 추적 : 정확한 예산 책정을 위해 맞춤 가격 책정 파일을 사용하는 특정 모델에 대한 재단사 비용 추정.
? 예외 모니터링 대시 보드 : 전용 모니터링 대시 보드를 사용하여 공통 예외 및 오류를 추적하여 문제를 빠르게 발견하고 해결합니다.
? 프롬프트 관리 : 응용 프로그램에서 일관되고 쉽게 액세스 할 수 있도록 Prompt Hub를 사용하여 관리 및 버전 프롬프트.
? API 키 및 비밀 관리 : 불안한 관행을 피하기 위해 API 키와 비밀을 중앙에서 안전하게 처리합니다.
? 다른 LLM을 가진 경험 : 개방형을 사용하여 다양한 LLM을 나란히 탐색, 테스트 및 비교하십시오.

LLM 관찰 가능성을 시작합니다

 흐름도 TB;
    하위 그래프 "" "
        방향 LR;
        하위 그래프 "" "
            방향 LR;
            OpenLit_sdk [OpenLit SDK] -> | 추적 및 메트릭을 보냅니다 OTC [OpenTelemetry Collector];
            OTC-> | 저장 데이터 | ClickHousEdb [Clickhouse];
        끝
        하위 그래프 "" "
            방향 RL;
            OpenLit_ui [OpenLit] -> | 데이터를 끌어 당깁니다 | ClickHousEdB;
        끝
    끝

1 단계 : OpenLit 스택을 배포합니다

git 클론 Openlit 저장소
명령 줄 또는 터미널을 열고 실행하십시오.
```
git clone [email protected]:openlit/openlit.git
```
Docker를 사용하는 자조 주
다음 명령으로 OpenLit을 배포하고 실행하십시오.
```
docker compose up -d
```

Helm을 사용하여 Kubernetes에 설치하는 방법은 Kubernetes Helm 설치 안내서를 참조하십시오.

2 단계 : OpenLit SDK를 설치하십시오

명령 줄 또는 터미널을 열고 실행하십시오.

pip install openlit

TypeScript SDK 사용에 대한 지침은 TypeScript SDK 설치 안내서를 방문하십시오.

3 단계 : 응용 프로그램에서 OpenLit을 초기화하십시오

코드에 다음 줄을 추가하여 OpenLit을 AI 응용 프로그램에 통합하십시오.

 import openlit

openlit . init ()

다음과 같이 원격 측정 데이터 대상을 구성하십시오.

목적	매개 변수/환경 변수	OpenLit에 보내기 위해
HTTP OTLP 엔드 포인트로 데이터를 보냅니다	`otlp_endpoint` 또는 `OTEL_EXPORTER_OTLP_ENDPOINT`	`"http://127.0.0.1:4318"`
원격 측정 백엔드를 인증합니다	`otlp_headers` 또는 `OTEL_EXPORTER_OTLP_HEADERS`	기본적으로 필요하지 않습니다

정보 : otlp_endpoint 또는 OTEL_EXPORTER_OTLP_ENDPOINT 제공되지 않은 경우 OpenLit SDK는 콘솔에 직접 추적을 출력하여 개발 단계에서 권장됩니다.

예

함수 인수를 사용하여 초기화하십시오

응용 프로그램 코드에 다음 두 줄을 추가하십시오.

 import openlit

openlit . init (
  otlp_endpoint = "http://127.0.0.1:4318" , 
)

환경 변수를 사용하여 초기화합니다

응용 프로그램 코드에 다음 두 줄을 추가하십시오.

 import openlit

openlit . init ()

그런 다음 환경 변수를 사용하여 OTLP 엔드 포인트를 구성하십시오.

 export OTEL_EXPORTER_OTLP_ENDPOINT = " http://127.0.0.1:4318 "

4 단계 : 시각화 및 최적화!

관찰 가능성 데이터가 이제 수집되어 OpenLit으로 전송되면서 다음 단계는이 데이터를 시각화하고 분석하여 AI 응용 프로그램의 성능, 동작에 대한 통찰력을 얻고 개선 영역을 식별하는 것입니다.

브라우저에서 127.0.0.1:3000 으로 OpenLit으로 가서 탐색을 시작하십시오. 기본 자격 증명을 사용하여 로그인 할 수 있습니다

이메일 : [email protected]
비밀번호 : openlituser

? 슬 로드맵

우리는 지속적으로 개방형을 개선하기 위해 최선을 다하고 있습니다. 다음은 성취 된 것과 수평선의 내용을 살펴 봅니다.

특징	상태
추적 및 메트릭을위한 OpenTelemetry-Native Observability SDK	✅ 완료되었습니다
OpenTelemetry-Native GPU 모니터링	✅ 완료되었습니다
예외 및 오류 모니터링	✅ 완료되었습니다
프롬프트 관리 및 버전을위한 프롬프트 허브	✅ 완료되었습니다
LLM 테스트 및 비교를위한 오픈 그라운드	✅ 완료되었습니다
LLM API 키 및 비밀의 중앙 관리를위한 금고	✅ 완료되었습니다
맞춤형 모델의 비용 추적	✅ 완료되었습니다
실시간 가드 레일 구현	✅ 완료되었습니다
LLM 응답에 대한 프로그램 평가	✅ 완료되었습니다
사용에 따른 자동 평가 지표	곧 올 것입니다
LLM 이벤트에 대한 인간 피드백	곧 올 것입니다
LLM 이벤트를 기반으로 한 데이터 세트 생성	곧 올 것입니다
트레이스를 검색하십시오	곧 올 것입니다