Startseite>Programmierbezogen>Anderer Quellcode
Herunterladen
litellm

? LiteLLM

Rufen Sie alle LLM-APIs im OpenAI-Format auf [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq usw.]

LiteLLM-Proxyserver (LLM-Gateway) | Gehosteter Proxy (Vorschau) | Enterprise-Stufe

LiteLLM verwaltet:

  • Übersetzen Sie Eingaben in completion , embedding und image_generation -Endpunkte des Anbieters
  • Konsistente Ausgabe, Textantworten sind immer unter ['choices'][0]['message']['content'] verfügbar.
  • Wiederholungs-/Fallback-Logik über mehrere Bereitstellungen hinweg (z. B. Azure/OpenAI) – Router
  • Legen Sie Budgets und Ratenlimits pro Projekt, API-Schlüssel und Modell fest. LiteLLM Proxy Server (LLM Gateway)

Gehen Sie zu den Dokumenten zu LiteLLM Proxy (LLM Gateway).
Gehen Sie zu den unterstützten LLM-Anbietern

? Stabile Version: Verwenden Sie Docker-Images mit dem Tag -stable . Diese wurden vor der Veröffentlichung 12-stündigen Belastungstests unterzogen.

Unterstützung für weitere Anbieter. Fehlt ein Anbieter oder eine LLM-Plattform, stellen Sie eine Funktionsanfrage.

Verwendung ( Dokumente )

Wichtig

LiteLLM v1.0.0 erfordert jetzt openai>=1.0.0 . Migrationsleitfaden hier
LiteLLM v1.40.14+ erfordert jetzt pydantic>=2.0.0 . Keine Änderungen erforderlich. 

pip install litellm
 from litellm import completion
import os

## set ENV variables
os . environ [ "OPENAI_API_KEY" ] = "your-openai-key"
os . environ [ "COHERE_API_KEY" ] = "your-cohere-key"

messages = [{ "content" : "Hello, how are you?" , "role" : "user" }]

# openai call
response = completion ( model = "gpt-3.5-turbo" , messages = messages )

# cohere call
response = completion ( model = "command-nightly" , messages = messages )
print ( response )

Rufen Sie jedes von einem Anbieter unterstützte Modell mit model=/ auf. Möglicherweise gibt es hier anbieterspezifische Details. Weitere Informationen finden Sie in den Anbieterdokumenten

Asynchron (Dokumente) 

 from litellm import acompletion
import asyncio

async def test_get_response ():
    user_message = "Hello, how are you?"
    messages = [{ "content" : user_message , "role" : "user" }]
    response = await acompletion ( model = "gpt-3.5-turbo" , messages = messages )
    return response

response = asyncio . run ( test_get_response ())
print ( response )

Streaming (Dokumente)

liteLLM unterstützt das Zurückstreamen der Modellantwort. Übergeben Sie stream=True um einen Streaming-Iterator als Antwort zu erhalten.
Streaming wird für alle Modelle unterstützt (Bedrock, Huggingface, TogetherAI, Azure, OpenAI usw.) 

 from litellm import completion
response = completion ( model = "gpt-3.5-turbo" , messages = messages , stream = True )
for part in response :
    print ( part . choices [ 0 ]. delta . content or "" )

# claude 2
response = completion ( 'claude-2' , messages , stream = True )
for part in response :
    print ( part . choices [ 0 ]. delta . content or "" )

Beobachtbarkeit der Protokollierung (Dokumente)

LiteLLM stellt vordefinierte Rückrufe bereit, um Daten an Lunary, Langfuse, DynamoDB, s3 Buckets, Helicone, Promptlayer, Traceloop, Athina, Slack zu senden 

 from litellm import completion

## set env variables for logging tools
os . environ [ "LUNARY_PUBLIC_KEY" ] = "your-lunary-public-key"
os . environ [ "HELICONE_API_KEY" ] = "your-helicone-auth-key"
os . environ [ "LANGFUSE_PUBLIC_KEY" ] = ""
os . environ [ "LANGFUSE_SECRET_KEY" ] = ""
os . environ [ "ATHINA_API_KEY" ] = "your-athina-api-key"

os . environ [ "OPENAI_API_KEY" ]

# set callbacks
litellm . success_callback = [ "lunary" , "langfuse" , "athina" , "helicone" ] # log input/output to lunary, langfuse, supabase, athina, helicone etc

#openai call
response = completion ( model = "gpt-3.5-turbo" , messages = [{ "role" : "user" , "content" : "Hi ? - i'm openai" }])

LiteLLM Proxy Server (LLM Gateway) – (Dokumente)

Verfolgen Sie Ausgaben und Lastverteilung über mehrere Projekte hinweg

Gehosteter Proxy (Vorschau)

Der Proxy bietet:

  1. Hooks für Authentifizierung
  2. Haken zum Protokollieren
  3. Kostenverfolgung
  4. Ratenbegrenzung

? Proxy-Endpunkte – Swagger-Dokumente

Schnellstart-Proxy – CLI 

pip install ' litellm[proxy] '

Schritt 1: Starten Sie den Litellm-Proxy 

$ litellm --model huggingface/bigcode/starcoder

# INFO: Proxy running on http://0.0.0.0:4000

Schritt 2: Stellen Sie eine ChatCompletions-Anfrage an den Proxy

Wichtig

Verwenden Sie LiteLLM Proxy mit Langchain (Python, JS), OpenAI SDK (Python, JS), Anthropic SDK, Mistral SDK, LlamaIndex, Instructor, Curl 

 import openai # openai v1.0.0+
client = openai . OpenAI ( api_key = "anything" , base_url = "http://0.0.0.0:4000" ) # set proxy to base_url
# request sent to model set on litellm proxy, `litellm --model`
response = client . chat . completions . create ( model = "gpt-3.5-turbo" , messages = [
    {
        "role" : "user" ,
        "content" : "this is a test request, write a short poem"
    }
])

print ( response )

Proxy-Schlüsselverwaltung (Dokumente)

Verbinden Sie den Proxy mit einer Postgres-Datenbank, um Proxy-Schlüssel zu erstellen

.env # Add the litellm salt key - you cannot change this after adding a model # It is used to encrypt / decrypt your LLM API Key credentials # We recommned - https://1password.com/password-generator/ # password generator to get a random hash for litellm salt key echo 'LITELLM_SALT_KEY="sk-1234"' > .env source .env # Start docker-compose up">
 # Get the code
git clone https://github.com/BerriAI/litellm

# Go to folder
cd litellm

# Add the master key - you can change this after setup
echo ' LITELLM_MASTER_KEY="sk-1234" ' > .env

# Add the litellm salt key - you cannot change this after adding a model
# It is used to encrypt / decrypt your LLM API Key credentials
# We recommned - https://1password.com/password-generator/ 
# password generator to get a random hash for litellm salt key
echo ' LITELLM_SALT_KEY="sk-1234" ' > .env

source .env

# Start
docker-compose up

UI auf /ui auf Ihrem Proxyserver ui_3

Legen Sie Budgets und Ratenlimits für mehrere Projekte fest. POST /key/generate

Anfrage 

curl ' http://0.0.0.0:4000/key/generate ' 
--header ' Authorization: Bearer sk-1234 ' 
--header ' Content-Type: application/json ' 
--data-raw ' {"models": ["gpt-3.5-turbo", "gpt-4", "claude-2"], "duration": "20m","metadata": {"user": "[email protected]", "team": "core-infra"}} '

Erwartete Antwort 

{
    " key " : " sk-kdEXbIqZRwEeEiHwdg7sFA " , # Bearer token
    " expires " : " 2023-11-19T01:38:25.838000+00:00 " # datetime object
}

Unterstützte Anbieter (Dokumente)

Anbieter Fertigstellung Streaming Asynchroner Abschluss Asynchrones Streaming Asynchrone Einbettung Asynchrone Bildgenerierung
openai ✅ ✅ ✅ ✅ ✅ ✅
azurblau ✅ ✅ ✅ ✅ ✅ ✅
aws – Sagemaker ✅ ✅ ✅ ✅ ✅
aws – Grundgestein ✅ ✅ ✅ ✅ ✅
google - vertex_ai ✅ ✅ ✅ ✅ ✅ ✅
Google - Palme ✅ ✅ ✅ ✅
Google AI Studio – Gemini ✅ ✅ ✅ ✅
Mistral Ai API ✅ ✅ ✅ ✅ ✅
Cloudflare-KI-Mitarbeiter ✅ ✅ ✅ ✅
zusammenhängen ✅ ✅ ✅ ✅ ✅
anthropisch ✅ ✅ ✅ ✅
ermächtigen ✅ ✅ ✅ ✅
umarmendes Gesicht ✅ ✅ ✅ ✅ ✅
replizieren ✅ ✅ ✅ ✅
zusammen_ai ✅ ✅ ✅ ✅
openrouter ✅ ✅ ✅ ✅
ai21 ✅ ✅ ✅ ✅
baseten ✅ ✅ ✅ ✅
vllm ✅ ✅ ✅ ✅
nlp_cloud ✅ ✅ ✅ ✅
Aleph Alpha ✅ ✅ ✅ ✅
Blütenblätter ✅ ✅ ✅ ✅
Ollama ✅ ✅ ✅ ✅ ✅
Deepinfra ✅ ✅ ✅ ✅
Ratlosigkeit-ai ✅ ✅ ✅ ✅
Groq KI ✅ ✅ ✅ ✅
Tiefseek ✅ ✅ ✅ ✅
anyscale ✅ ✅ ✅ ✅
IBM – watsonx.ai ✅ ✅ ✅ ✅ ✅
reise ai ✅
xinference [Xorbits-Inferenz] ✅
FreundlichAI ✅ ✅ ✅ ✅

Lesen Sie die Dokumente

Mitwirken

Um einen Beitrag zu leisten: Klonen Sie das Repo lokal -> Nehmen Sie eine Änderung vor -> Senden Sie eine PR mit der Änderung.

So ändern Sie das Repo lokal: Schritt 1: Klonen Sie das Repo 

 git clone https://github.com/BerriAI/litellm.git

Schritt 2: Navigieren Sie zum Projekt und installieren Sie Abhängigkeiten: 

 cd litellm
poetry install -E extra_proxy -E proxy

Schritt 3: Testen Sie Ihre Änderung: 

 cd litellm/tests # pwd: Documents/litellm/litellm/tests
poetry run flake8
poetry run pytest .

Schritt 4: Senden Sie eine PR mit Ihren Änderungen! ?

  • Schieben Sie Ihren Fork in Ihr GitHub-Repo
  • Senden Sie von dort aus eine PR

Unternehmen

Für Unternehmen, die mehr Sicherheit, Benutzerverwaltung und professionellen Support benötigen

Sprechen Sie mit Gründern

Dies umfasst:

  • ✅ Funktionen unter der kommerziellen LiteLLM-Lizenz:
  • ✅ Funktionspriorisierung
  • ✅ Benutzerdefinierte Integrationen
  • ✅ Professioneller Support – Dedizierter Discord + Slack
  • ✅ Benutzerdefinierte SLAs
  • ✅ Sicherer Zugriff mit Single Sign-On

Unterstützung / Gespräch mit Gründern

Warum haben wir das gebaut?

  • Notwendigkeit der Einfachheit : Unser Code begann extrem kompliziert zu werden, Aufrufe zwischen Azure, OpenAI und Cohere zu verwalten und zu übersetzen.

Mitwirkende

Expandieren
Zusätzliche Informationen
Ähnliche Anwendungen
Empfohlen für Sie
Ähnliche Nachrichten Alle
Benutzerkommentare