llm gateway

LLM 게이트웨이

? 이게 뭔가요?

llm-gateway 는 OpenAI, Cohere 등과 같은 타사 LLM 제공 업체의 게이트웨이입니다. Postgres 데이터베이스에서 이러한 제공자로부터 보내고받은 데이터를 추적하고 전송 전에 PII 스크럽 빙하 휴리스틱을 실행합니다.

OpenAI의 비 API 소비자 제품 데이터 사용 정책에 따라 ChatGpt 및 Dall-E와 같은 제품을 개선하기 위해 "프롬프트, 응답, 업로드 된 이미지 및 서비스를 개선하기 위해 생성 된 이미지와 같은 콘텐츠를 사용할 수 있습니다".

llm-gateway 사용하여 안전한 방식으로 OpenAI와 상호 작용하십시오. 게이트웨이는 또한 OpenAI /ChatCompletion 엔드 포인트를 사용하여 ChatGpt 프론트 엔드를 재현하여 API 내의 모든 커뮤니케이션을 유지합니다.

? 지원되는 모델

공급자	모델
Openai	GPT 3.5 터보
Openai	GPT 3.5 터보 16K
Openai	GPT 4
AI21 실험실	쥬라기 -2 울트라
AI21 실험실	Jurassic-2 Mid
아마존	타이탄 텍스트 라이트
아마존	타이탄 텍스트 익스프레스
아마존	타이탄 텍스트 임베딩
인류	클로드 2.1
인류	클로드 2.0
인류	클로드 1.3
인류	클로드 인스턴트
코셔	명령
코셔	명령 표시등
코셔	Embed -English
코셔	포함 - 다국어
메타	LLAMA-2-13B-Chat
메타	llama-2-70b chat

⚒️ 사용

공급자의 API 키는 환경 변수로 저장해야합니다 (더 아래로 설정 참조). OpenAI와 의사 소통하는 경우 OPENAI_API_KEY 설정하십시오.

Cohere, OpenAi 및 AWS 기반암이있는 단계별 설정 지침을 보려면 여기를 클릭하십시오.

API 사용

[OpenAi] 예제 컬링 /completion 엔드 포인트 :

 curl -X 'POST' 
  'http://<host>/api/openai/completion' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{
  "temperature": 0,
  "prompt": "Tell me what is the meaning of life",
  "max_tokens": 50,
  "model": "text-davinci-003"
}'

[openai] /chat_completion 엔드 포인트를 사용할 때는 사용자와 조수 간의 대화로 공식화하십시오.

 curl -X 'POST' 
  'http://<host>/api/openai/chat_completion' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{
  "messages": [
    {"role": "assistant", "content": "You are an intelligent assistant."},
    {"role": "user", "content": "create a healthy recipe"}
  ],
  "model": "gpt-3.5-turbo",
  "temperature": 0
}'

파이썬 사용

 from llm_gateway . providers . openai import OpenAIWrapper

wrapper = OpenAIWrapper ()
wrapper . send_openai_request (
    "Completion" ,
    "create" ,
    max_tokens = 100 ,
    prompt = "What is the meaning of life?" ,
    temperature = 0 ,
    model = "text-davinci-003" ,
)

개발자를위한 빠른 시작

이 프로젝트는 의존성 및 환경 관리를 위해시, PYENV를 사용합니다. 시와 Pyenv가 시작하려는 공식 설치 문서를 확인하십시오. 프론트 엔드 부분의 경우이 프로젝트는 종속성 관리에 NPM과 원사를 사용합니다. 이 프로젝트에 필요한 최신 노드 버전은 .Node-Version으로 선언됩니다.

백엔드 종속성

Docker를 사용하는 경우 1-3 단계는 선택 사항입니다. 개발주기 속도를 높이기 위해 사전 커밋 후크를 설치하는 것이 좋습니다.

1. 시와 Pyenv를 설치하십시오
2. pyenv install 3.11.3 설치하십시오
3. 프로젝트 요구 사항을 설치하십시오

 brew install gitleaks
poetry install
poetry run pre-commit install

4. cp .envrc.example .envrc 실행하고 API 비밀로 업데이트하십시오

? Docker Development Loop (Backend & Frontend)

Docker에서 실행하려면 :

 # spin up docker-compose
make up

# open frontend in browser
make browse

# open FastAPI Swagger API
make browse-api

# delete docker-compose setup
make down