BricksLLM

BricksLLM : puerta de enlace AI para poner LLM en producción

Consejo

¡También está disponible una versión administrada de BricksLLM ! Está listo para producción y viene con un panel para facilitar la interacción con BricksLLM . ¡Pruébanos gratis hoy!

BricksLLM es una puerta de enlace de IA nativa de la nube escrita en Go. Actualmente, proporciona soporte nativo para OpenAI, Anthropic, Azure OpenAI y vLLM. BricksLLM tiene como objetivo proporcionar una infraestructura de nivel empresarial que pueda impulsar cualquier caso de uso de producción de LLM. A continuación se muestran algunos casos de uso de BricksLLM :

• Establecer límites de uso de LLM para usuarios en diferentes niveles de precios
• Realice un seguimiento del uso de LLM por usuario y por organización
• Bloquear o redactar solicitudes que contengan PII
• Mejore la confiabilidad de LLM con conmutaciones por error, reintentos y almacenamiento en caché
• Distribuya claves API con límites de velocidad y límites de costos para casos de uso de desarrollo/producción internos.
• Distribuya claves API con límites de tarifas y límites de costos para estudiantes

Características

• Detección y enmascaramiento de PII
• Límite de tarifa
• control de costos
• Análisis de costos
• Solicitar análisis
• Almacenamiento en caché
• Solicitar reintentos
• Conmutación por error
• Control de acceso al modelo
• Control de acceso a terminales
• Soporte nativo para todos los puntos finales de OpenAI
• Soporte nativo para Anthropic
• Soporte nativo para Azure OpenAI
• Soporte nativo para vLLM
• Soporte nativo para Deepinfra
• Soporte para implementaciones personalizadas
• Integración con modelos personalizados.
• Integración de perro de datos
• Iniciar sesión con control de privacidad

Empezando

La forma más sencilla de empezar a utilizar BricksLLM es a través de BricksLLM -Docker.

Paso 1 - Clonar BricksLLM -Repositorio Docker

git clone https://github.com/bricks-cloud/BricksLLM-Docker

Paso 2: cambie al directorio BricksLLM -Docker

 cd BricksLLM -Docker

Paso 3: Implemente BricksLLM localmente con Postgresql y Redis

docker compose up

Puede ejecutar esto en modo de separación usando el indicador -d: docker compose up -d

Paso 4: crear una configuración de proveedor

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '   

Copie la id de la respuesta.

Paso 5: crear una clave API de Bricks

Utilice id del paso anterior como settingId para crear una clave con un límite de velocidad de 2 solicitudes/min y un límite de gasto de 25 centavos.

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '   

¡¡¡Felicitaciones, ya terminaste!!!

Luego, simplemente redirija sus solicitudes hacia nosotros y use OpenAI como lo haría normalmente. Por ejemplo:

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

O, si está utilizando un SDK, puede cambiar su baseURL para que apunte a nosotros. Por ejemplo:

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; 

¿Cómo actualizar?

Para actualizar a la última versión

docker pull luyuanxin1995/ BricksLLM :latest

Para actualizar a una versión particular

docker pull luyuanxin1995/ BricksLLM :1.4.0

Documentación

Variables ambientales

Nombre	tipo	descripción	por defecto
POSTGRESQL_HOSTS	requerido	Hosts para base de datos Postgresql. Separado por,	localhost
POSTGRESQL_DB_NAME	opcional	Nombre de la base de datos Postgresql.
POSTGRESQL_USERNAME	requerido	Nombre de usuario de la base de datos Postgresql
POSTGRESQL_PASSWORD	requerido	Contraseña de base de datos Postgresql
POSTGRESQL_SSL_MODE	opcional	Modo SSL de Postgresql	disable
POSTGRESQL_PORT	opcional	El puerto en el que se ejecuta Postgresql DB	5432
POSTGRESQL_READ_TIME_OUT	opcional	Tiempo de espera para operaciones de lectura de Postgresql	2m
POSTGRESQL_WRITE_TIME_OUT	opcional	Tiempo de espera para operaciones de escritura de Postgresql	5s
REDIS_HOSTS	requerido	Anfitrión de Redis. Separado por,	localhost
REDIS_PASSWORD	opcional	Contraseña de Redis
REDIS_PORT	opcional	El puerto en el que se ejecuta Redis DB	6379
REDIS_READ_TIME_OUT	opcional	Tiempo de espera para operaciones de lectura de Redis	1s
REDIS_WRITE_TIME_OUT	opcional	Tiempo de espera para operaciones de escritura de Redis	500ms
IN_MEMORY_DB_UPDATE_INTERVAL	opcional	La puerta de enlace API BricksLLM de intervalo sondea la base de datos Postgresql para obtener las configuraciones clave más recientes	1s
STATS_PROVIDER	opcional	"datadog" o Host:Port(127.0.0.1:8125) para statsd.
PROXY_TIMEOUT	opcional	Tiempo de espera para solicitudes HTTP de proxy.	600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS	opcional	Número de consumidores de mensajes de eventos que ayudan a contar tokens e insertar eventos en la base de datos.	3
AWS_SECRET_ACCESS_KEY	opcional	Es para la función de detección de PII.	5s
AWS_ACCESS_KEY_ID	opcional	Es para utilizar la función de detección de PII.	5s
AMAZON_REGION	opcional	Región para AWS.	us-west-2
AMAZON_REQUEST_TIMEOUT	opcional	Tiempo de espera para solicitudes de Amazon.	5s
AMAZON_CONNECTION_TIMEOUT	opcional	Tiempo de espera para la conexión de Amazon.	10s
ADMIN_PASS	opcional	Contraseña simple para el servidor de administración.

Servidor de administración

Doctor arrogante

Servidor proxy

Doctor arrogante