litelmo

? LiteLLM

Llame a todas las API de LLM utilizando el formato OpenAI [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, Groq, etc.]

Servidor proxy LiteLLM (puerta de enlace LLM) | Proxy alojado (vista previa) | Nivel empresarial

LiteLLM gestiona:

• Traducir entradas a los puntos finales de completion , embedding y image_generation del proveedor
• Salida consistente, las respuestas de texto siempre estarán disponibles en ['choices'][0]['message']['content']
• Lógica de reintento/refuerzo en múltiples implementaciones (por ejemplo, Azure/OpenAI): enrutador
• Establezca límites de presupuestos y tarifas por proyecto, clave de API, modelo LiteLLM Proxy Server (LLM Gateway)

Vaya a los documentos de LiteLLM Proxy (LLM Gateway)
Ir a proveedores de LLM admitidos

? Versión estable: utilice imágenes de la ventana acoplable con la etiqueta -stable . Estos han sido sometidos a pruebas de carga de 12 horas, antes de ser publicados.

Soporte para más proveedores. Falta un proveedor o una plataforma LLM, presente una solicitud de función.

Uso ( Documentos )

Importante

LiteLLM v1.0.0 ahora requiere openai>=1.0.0 . Guía de migración aquí
LiteLLM v1.40.14+ ahora requiere pydantic>=2.0.0 . No se requieren cambios.

pip install litellm

 from litellm import completion
import os

## set ENV variables
os . environ [ "OPENAI_API_KEY" ] = "your-openai-key"
os . environ [ "COHERE_API_KEY" ] = "your-cohere-key"

messages = [{ "content" : "Hello, how are you?" , "role" : "user" }]

# openai call
response = completion ( model = "gpt-3.5-turbo" , messages = messages )

# cohere call
response = completion ( model = "command-nightly" , messages = messages )
print ( response )

Llame a cualquier modelo admitido por un proveedor, con model=/ . Es posible que haya detalles específicos del proveedor aquí, así que consulte los documentos del proveedor para obtener más información.

Asíncrono (Documentos)

 from litellm import acompletion
import asyncio

async def test_get_response ():
    user_message = "Hello, how are you?"
    messages = [{ "content" : user_message , "role" : "user" }]
    response = await acompletion ( model = "gpt-3.5-turbo" , messages = messages )
    return response

response = asyncio . run ( test_get_response ())
print ( response )

Transmisión (Documentos)

liteLLM admite la transmisión de la respuesta del modelo, pase stream=True para obtener un iterador de transmisión en respuesta.
La transmisión es compatible con todos los modelos (Bedrock, Huggingface, TogetherAI, Azure, OpenAI, etc.)

 from litellm import completion
response = completion ( model = "gpt-3.5-turbo" , messages = messages , stream = True )
for part in response :
    print ( part . choices [ 0 ]. delta . content or "" )

# claude 2
response = completion ( 'claude-2' , messages , stream = True )
for part in response :
    print ( part . choices [ 0 ]. delta . content or "" )

Observabilidad del registro (Documentos)

LiteLLM expone devoluciones de llamadas predefinidas para enviar datos a Lunary, Langfuse, DynamoDB, s3 Buckets, Helicone, Promptlayer, Traceloop, Athina, Slack

 from litellm import completion

## set env variables for logging tools
os . environ [ "LUNARY_PUBLIC_KEY" ] = "your-lunary-public-key"
os . environ [ "HELICONE_API_KEY" ] = "your-helicone-auth-key"
os . environ [ "LANGFUSE_PUBLIC_KEY" ] = ""
os . environ [ "LANGFUSE_SECRET_KEY" ] = ""
os . environ [ "ATHINA_API_KEY" ] = "your-athina-api-key"

os . environ [ "OPENAI_API_KEY" ]

# set callbacks
litellm . success_callback = [ "lunary" , "langfuse" , "athina" , "helicone" ] # log input/output to lunary, langfuse, supabase, athina, helicone etc

#openai call
response = completion ( model = "gpt-3.5-turbo" , messages = [{ "role" : "user" , "content" : "Hi ? - i'm openai" }])

Servidor proxy LiteLLM (puerta de enlace LLM) - (Documentos)

Seguimiento del gasto + saldo de carga en múltiples proyectos

Proxy alojado (vista previa)

El proxy proporciona:

1. Ganchos para autenticación
2. Ganchos para iniciar sesión
3. Seguimiento de costos
4. Limitación de tasa

? Puntos finales de proxy - Swagger Docs

Proxy de inicio rápido: CLI

pip install ' litellm[proxy] '

Paso 1: inicie el proxy litellm

$ litellm --model huggingface/bigcode/starcoder

# INFO: Proxy running on http://0.0.0.0:4000

Paso 2: Realizar una solicitud de ChatCompletions al proxy

Importante

Utilice LiteLLM Proxy con Langchain (Python, JS), OpenAI SDK (Python, JS), Anthropic SDK, Mistral SDK, LlamaIndex, Instructor, Curl

 import openai # openai v1.0.0+
client = openai . OpenAI ( api_key = "anything" , base_url = "http://0.0.0.0:4000" ) # set proxy to base_url
# request sent to model set on litellm proxy, `litellm --model`
response = client . chat . completions . create ( model = "gpt-3.5-turbo" , messages = [
    {
        "role" : "user" ,
        "content" : "this is a test request, write a short poem"
    }
])

print ( response )

Gestión de claves de proxy (Documentos)

Conecte el proxy con una base de datos Postgres para crear claves de proxy

.env # Add the litellm salt key - you cannot change this after adding a model # It is used to encrypt / decrypt your LLM API Key credentials # We recommned - https://1password.com/password-generator/ # password generator to get a random hash for litellm salt key echo 'LITELLM_SALT_KEY="sk-1234"' > .env source .env # Start docker-compose up">

 # Get the code
git clone https://github.com/BerriAI/litellm

# Go to folder
cd litellm

# Add the master key - you can change this after setup
echo ' LITELLM_MASTER_KEY="sk-1234" ' > .env

# Add the litellm salt key - you cannot change this after adding a model
# It is used to encrypt / decrypt your LLM API Key credentials
# We recommned - https://1password.com/password-generator/ 
# password generator to get a random hash for litellm salt key
echo ' LITELLM_SALT_KEY="sk-1234" ' > .env

source .env

# Start
docker-compose up

UI en /ui en su servidor proxy

Establecer presupuestos y límites de tarifas en múltiples proyectos POST /key/generate

Pedido

curl ' http://0.0.0.0:4000/key/generate ' 
--header ' Authorization: Bearer sk-1234 ' 
--header ' Content-Type: application/json ' 
--data-raw ' {"models": ["gpt-3.5-turbo", "gpt-4", "claude-2"], "duration": "20m","metadata": {"user": "[email protected]", "team": "core-infra"}} '

Respuesta esperada

{
    " key " : " sk-kdEXbIqZRwEeEiHwdg7sFA " , # Bearer token
    " expires " : " 2023-11-19T01:38:25.838000+00:00 " # datetime object
}

Proveedores compatibles (Documentos)

Proveedor	Terminación	Transmisión	Finalización asíncrona	Transmisión asíncrona	Incrustación asíncrona	Generación de imágenes asíncronas
abierto	✅	✅	✅	✅	✅	✅
azur	✅	✅	✅	✅	✅	✅
aws - sabio	✅	✅	✅	✅	✅
aws - base de roca	✅	✅	✅	✅	✅
google-vertex_ai	✅	✅	✅	✅	✅	✅
google - palma	✅	✅	✅	✅
Google AI Studio - Géminis	✅	✅	✅	✅
mistral ai api	✅	✅	✅	✅	✅
Trabajadores de IA de Cloudflare	✅	✅	✅	✅
adherirse	✅	✅	✅	✅	✅
antrópico	✅	✅	✅	✅
autorizar	✅	✅	✅	✅
abrazando cara	✅	✅	✅	✅	✅
reproducir exactamente	✅	✅	✅	✅
juntos_ai	✅	✅	✅	✅
enrutador abierto	✅	✅	✅	✅
ai21	✅	✅	✅	✅
baseten	✅	✅	✅	✅
vllm	✅	✅	✅	✅
nube_nlp	✅	✅	✅	✅
alfa alfa	✅	✅	✅	✅
pétalos	✅	✅	✅	✅
ollama	✅	✅	✅	✅	✅
infraestructura profunda	✅	✅	✅	✅
perplejidad-ai	✅	✅	✅	✅
Groq IA	✅	✅	✅	✅
búsqueda profunda	✅	✅	✅	✅
cualquier escala	✅	✅	✅	✅
IBM - watsonx.ai	✅	✅	✅	✅	✅
viaje ai					✅
xinference [Inferencia de Xorbitas]					✅
AmistosoAI	✅	✅	✅	✅

Lea los documentos

Contribuyendo

Para contribuir: clonar el repositorio localmente -> Realizar un cambio -> Enviar un PR con el cambio.

A continuación se explica cómo modificar el repositorio localmente: Paso 1: clonar el repositorio

 git clone https://github.com/BerriAI/litellm.git

Paso 2: navegue hasta el proyecto e instale las dependencias:

 cd litellm
poetry install -E extra_proxy -E proxy

Paso 3: prueba tu cambio:

 cd litellm/tests # pwd: Documents/litellm/litellm/tests
poetry run flake8
poetry run pytest .

Paso 4: ¡Envíe un PR con sus cambios! ?

• empuja tu bifurcación a tu repositorio de GitHub
• enviar un PR desde allí

Empresa

Para empresas que necesitan mejor seguridad, gestión de usuarios y soporte profesional

Habla con los fundadores

Esto cubre:

• ✅ Funciones bajo la Licencia Comercial LiteLLM:
• ✅ Priorización de funciones
• ✅ Integraciones personalizadas
• ✅ Soporte profesional: discordia dedicada + holgura
• ✅ SLA personalizados
• ✅ Acceso seguro con inicio de sesión único

Apoyo / charla con fundadores

• ¿Programar demostración?
• ¿Discordia comunitaria?
• ¿Nuestros números? [phone] / [phone]
• Nuestros correos electrónicos ✉️ [email protected] / [email protected]

¿Por qué construimos esto?

• Necesidad de simplicidad : nuestro código comenzó a volverse extremadamente complicado al administrar y traducir llamadas entre Azure, OpenAI y Cohere.

Colaboradores