LLMstudio

TensorOps의 LLMstudio

손끝에서 신속한 엔지니어링

? 특징

• LLM 프록시 액세스 : OpenAI, Anthropic, Google의 모든 최신 LLM에 원활하게 액세스할 수 있습니다.
• 맞춤형 및 로컬 LLM 지원 : Ollama를 통해 맞춤형 또는 로컬 오픈 소스 LLM을 사용하세요.
• 프롬프트 플레이그라운드 UI : 프롬프트 엔지니어링 및 미세 조정을 위한 사용자 친화적인 인터페이스입니다.
• Python SDK : LLMstudio를 기존 워크플로에 쉽게 통합할 수 있습니다.
• 모니터링 및 로깅 : 모든 요청에 ​​대한 사용량과 성능을 추적합니다.
• LangChain 통합 : LLMstudio는 기존 LangChain 프로젝트와 통합됩니다.
• 일괄 호출 : 효율성 향상을 위해 한 번에 여러 요청을 보냅니다.
• 스마트 라우팅 및 대체 : 신뢰할 수 있는 LLM으로 요청을 라우팅하여 연중무휴 가용성을 보장합니다.
• 유형 캐스팅(곧) : 특정 사용 사례에 맞게 필요에 따라 데이터 유형을 변환합니다.

빠른 시작

https://docs.llmstudio.ai 페이지도 꼭 확인해 보세요.

설치

pip 사용하여 최신 버전의 LLMstudio를 설치합니다. conda 사용하여 새 환경을 만들고 활성화하는 것이 좋습니다.

정식 버전의 경우:

pip install ' llmstudio[proxy,tracker] '

경량(코어) 버전의 경우:

pip install llmstudio

LLMstudio를 실행할 동일한 경로에 .env 파일을 만듭니다.

OPENAI_API_KEY= " sk-api_key "
ANTHROPIC_API_KEY= " sk-api_key "
VERTEXAI_KEY= " sk-api-key "

이제 다음 명령을 사용하여 LLMstudio를 실행할 수 있습니다.

llmstudio server --proxy --tracker

--proxy 플래그가 설정되면 http://0.0.0.0:50001/docs(기본 포트)에서 Swagger에 액세스할 수 있습니다.

--tracker 플래그가 설정되면 http://0.0.0.0:50002/docs(기본 포트)에서 Swagger에 액세스할 수 있습니다.

선적 서류 비치

• SDK 작동 방식을 알아보려면 문서를 방문하세요(곧 제공 예정).
• 대화형 튜토리얼을 따라가려면 노트북 예제를 확인하세요.

?‍ 기여하는 중

• LLMstudio를 어떻게 도울 수 있는지 알아보려면 기여 가이드를 참조하세요.
• Discord에 참여하여 다른 LLMstudio 매니아들과 이야기를 나눠보세요.

훈련

---

LLMstudio를 선택해주셔서 감사합니다. AI 상호작용을 완벽하게 만들기 위한 여정이 여기에서 시작됩니다.