llm gateway

LLM Gateway

? Apa ini?

llm-gateway adalah gateway untuk penyedia LLM pihak ketiga seperti OpenAI, Cohere, dll. Ini melacak data yang dikirim dan diterima dari penyedia ini dalam database Postgres dan menjalankan heuristik penggosok PII sebelum dikirim.

Per Openai Non-API Produk Konsumen Kebijakan Penggunaan Data, mereka "dapat menggunakan konten seperti petunjuk, tanggapan, gambar yang diunggah, dan gambar yang dihasilkan untuk meningkatkan layanan kami" untuk meningkatkan produk seperti ChatGPT dan Dall-E.

Gunakan llm-gateway untuk berinteraksi dengan openai dengan cara yang aman. Gateway juga menciptakan kembali titik akhir chatgpt menggunakan titik akhir OpenAi /ChatCompletion untuk menjaga semua komunikasi di dalam API.

? Model yang didukung

Penyedia	Model
Openai	GPT 3.5 Turbo
Openai	GPT 3.5 Turbo 16K
Openai	GPT 4
AI21 Labs	Jurassic-2 Ultra
AI21 Labs	Jurassic-2 Mid
Amazon	Titan Text Lite
Amazon	Titan Text Express
Amazon	Embeddings Teks Titan
Antropik	Claude 2.1
Antropik	Claude 2.0
Antropik	Claude 1.3
Antropik	Claude Instant
Berpadu	Memerintah
Berpadu	Command Light
Berpadu	Embed - Bahasa Inggris
Berpadu	Embed - multibahasa
Meta	LLAMA-2-13B-CHAT
Meta	LLAMA-2-70B-CHAT

⚒️ penggunaan

Kunci API penyedia perlu disimpan sebagai variabel lingkungan (lihat Pengaturan lebih jauh ke bawah). Jika Anda berkomunikasi dengan OpenAi, atur OPENAI_API_KEY .

Untuk instruksi pengaturan langkah demi langkah dengan Cohere, OpenAi, dan AWS Bedrock, klik di sini.

Penggunaan API

[OpenAi] Contoh Curl to /completion Titik Akhir:

 curl -X 'POST' 
  'http://<host>/api/openai/completion' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{
  "temperature": 0,
  "prompt": "Tell me what is the meaning of life",
  "max_tokens": 50,
  "model": "text-davinci-003"
}'

[OpenAi] Saat menggunakan titik akhir /chat_completion , rumuskan sebagai percakapan antara pengguna dan asisten.

 curl -X 'POST' 
  'http://<host>/api/openai/chat_completion' 
  -H 'accept: application/json' 
  -H 'Content-Type: application/json' 
  -d '{
  "messages": [
    {"role": "assistant", "content": "You are an intelligent assistant."},
    {"role": "user", "content": "create a healthy recipe"}
  ],
  "model": "gpt-3.5-turbo",
  "temperature": 0
}'

Penggunaan Python

 from llm_gateway . providers . openai import OpenAIWrapper

wrapper = OpenAIWrapper ()
wrapper . send_openai_request (
    "Completion" ,
    "create" ,
    max_tokens = 100 ,
    prompt = "What is the meaning of life?" ,
    temperature = 0 ,
    model = "text-davinci-003" ,
)

Mulai cepat untuk pengembang

Proyek ini menggunakan puisi, pyenv untuk ketergantungan dan manajemen lingkungan. Lihatlah dokumentasi instalasi resmi untuk puisi dan pyenv untuk memulai. Untuk bagian front-end, proyek ini menggunakan NPM dan benang untuk manajemen ketergantungan. Versi node terkini yang diperlukan untuk proyek ini dinyatakan dalam .Node-versi.

Ketergantungan backend

Jika menggunakan Docker, Langkah 1-3 adalah opsional. Kami sarankan memasang kait pra-komit untuk mempercepat siklus pengembangan.

1. Pasang puisi dan pyenv
2. Instal pyenv install 3.11.3
3. Pasang persyaratan proyek

 brew install gitleaks
poetry install
poetry run pre-commit install

4. Jalankan cp .envrc.example .envrc dan perbarui dengan rahasia API

? Loop Pengembangan Docker (Backend & Frontend)

Untuk berlari di Docker:

 # spin up docker-compose
make up

# open frontend in browser
make browse

# open FastAPI Swagger API
make browse-api

# delete docker-compose setup
make down