frugal

누멕사

LLM을 위한 오픈 소스 비용 및 리소스 최적화 플랫폼입니다. 절약하세요! ?

소개

Numexa는 운영 효율성을 향상시키도록 설계된 AI 기반 비용 및 리소스 최적화 도구입니다. 이는 사용량 지표에서 파생된 상황별 통찰력을 활용하여 달성됩니다. Numexa는 지능형 캐싱 및 데이터 검색과 같은 최첨단 기술을 사용하여 벡터 데이터베이스의 성능을 활용하여 작업을 간소화합니다. Numexa가 자원 관리 및 비용 절감 노력에 어떻게 혁신을 가져올 수 있는지 알아보세요.

특징

• 모델에 구애받지 않는 기능은 OpenAI, Cohere, Anthropic 등과 같은 다양한 제공업체의 요청을 무제한으로 기록합니다.

• ? 모델 관리

• ? 오류율, 임계값, 비용 등과 같은 사전 정의된 정책을 통한 경고 및 알림

• ? 캐싱, 사용자 정의 속도 제한 및 재시도

• 사용자, 애플리케이션, 엔드포인트별 비용 및 대기 시간 추적

• (출시 예정) 지능형 캐싱 및 데이터 검색

• (출시 예정) 비용 및 리소스 최적화

개발 설정

전제 조건

시작하기 전에 시스템에 다음이 설치되어 있는지 확인하십시오.

• 힘내 : 설치 가이드
• 도커 : 설치 가이드
• Docker Compose : 설치 가이드
• 제조사 : 설치 가이드

시작하기

1. 저장소를 복제합니다.

   git clone < repository_url >
   cd < repository_directory >
   

2. 서비스 빌드 및 시작: 다음 명령을 실행하여 프로젝트 서비스를 빌드하고 시작합니다.

   make all
   docker compose -f docker-compose.dev.yaml up -d

3. 서비스 확인: 위 명령을 실행한 후 프로젝트 서비스가 실행되어야 합니다. 이는 로그를 확인하여 확인할 수 있습니다.

지역 사회 ?

#Discord에 참여하거나 [email protected]로 이메일을 보내세요.