BricksLLM

BricksLLM : AI Gateway para colocar LLMs em produção

Dica

Uma versão gerenciada do BricksLLM também está disponível! Está pronto para produção e vem com um painel para facilitar a interação com BricksLLM . Experimente-nos gratuitamente hoje!

BricksLLM é um gateway de IA nativo da nuvem escrito em Go. Atualmente, fornece suporte nativo para OpenAI, Anthropic, Azure OpenAI e vLLM. BricksLLM visa fornecer infraestrutura de nível empresarial que pode alimentar qualquer caso de uso de produção LLM. Aqui estão alguns casos de uso para BricksLLM :

• Defina limites de uso de LLM para usuários em diferentes níveis de preços
• Rastreie o uso do LLM por usuário e por organização
• Bloquear ou editar solicitações que contenham PIIs
• Melhore a confiabilidade do LLM com failovers, novas tentativas e cache
• Distribua chaves de API com limites de taxa e custos para casos de uso de desenvolvimento/produção internos
• Distribua chaves de API com limites de taxas e custos para estudantes

Características

• Detecção e mascaramento de PII
• Limite de taxa
• Controle de custos
• Análise de custos
• Solicitar análises
• Cache
• Solicitar novas tentativas
• Failover
• Controle de acesso ao modelo
• Controle de acesso de endpoint
• Suporte nativo para todos os endpoints OpenAI
• Suporte nativo para Antrópico
• Suporte nativo para Azure OpenAI
• Suporte nativo para vLLM
• Suporte nativo para Deepinfra
• Suporte para implantações personalizadas
• Integração com modelos personalizados
• Integração Datadog
• Registro com controle de privacidade

Começando

A maneira mais fácil de começar a usar BricksLLM é por meio do BricksLLM -Docker.

Etapa 1 - Clonar o repositório BricksLLM -Docker

git clone https://github.com/bricks-cloud/BricksLLM-Docker

Etapa 2 - Mude para o diretório BricksLLM -Docker

 cd BricksLLM -Docker

Etapa 3 – Implantar BricksLLM localmente com Postgresql e Redis

docker compose up

Você pode executar isso no modo desanexado usando o sinalizador -d: docker compose up -d

Passo 4 – Crie uma configuração de provedor

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '   

Copie o id da resposta.

Etapa 5 – Crie uma chave de API Bricks

Use id da etapa anterior como settingId para criar uma chave com um limite de taxa de 2 req/min e um limite de gasto de 25 centavos.

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '   

Parabéns, você terminou!!!

Depois, basta redirecionar suas solicitações para nós e usar o OpenAI como faria normalmente. Por exemplo:

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

Ou se estiver usando um SDK, você pode alterar seu baseURL para apontar para nós. Por exemplo:

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; 

Como atualizar?

Para atualizar para a versão mais recente

docker pull luyuanxin1995/ BricksLLM :latest

Para atualizar para uma versão específica

docker pull luyuanxin1995/ BricksLLM :1.4.0

Documentação

Variáveis ​​de ambiente

Nome	tipo	descrição	padrão
POSTGRESQL_HOSTS	obrigatório	Hosts para banco de dados Postgresql. Separados por,	localhost
POSTGRESQL_DB_NAME	opcional	Nome do banco de dados Postgresql.
POSTGRESQL_USERNAME	obrigatório	Nome de usuário do banco de dados Postgresql
POSTGRESQL_PASSWORD	obrigatório	Senha do banco de dados Postgresql
POSTGRESQL_SSL_MODE	opcional	Modo SSL Postgresql	disable
POSTGRESQL_PORT	opcional	A porta em que o banco de dados Postgresql é executado	5432
POSTGRESQL_READ_TIME_OUT	opcional	Tempo limite para operações de leitura do Postgresql	2m
POSTGRESQL_WRITE_TIME_OUT	opcional	Tempo limite para operações de gravação do Postgresql	5s
REDIS_HOSTS	obrigatório	Hospedeiro do Redis. Separados por,	localhost
REDIS_PASSWORD	opcional	Senha Redis
REDIS_PORT	opcional	A porta em que o Redis DB é executado	6379
REDIS_READ_TIME_OUT	opcional	Tempo limite para operações de leitura do Redis	1s
REDIS_WRITE_TIME_OUT	opcional	Tempo limite para operações de gravação do Redis	500ms
IN_MEMORY_DB_UPDATE_INTERVAL	opcional	O gateway de API BricksLLM de intervalo pesquisa o banco de dados Postgresql para obter as configurações de chave mais recentes	1s
STATS_PROVIDER	opcional	"datadog" ou Host:Port(127.0.0.1:8125) para statsd.
PROXY_TIMEOUT	opcional	Tempo limite para solicitações HTTP de proxy.	600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS	opcional	Número de consumidores de mensagens de evento que ajudam a lidar com a contagem de tokens e a inserção de eventos no banco de dados.	3
AWS_SECRET_ACCESS_KEY	opcional	É para recurso de detecção de PII.	5s
AWS_ACCESS_KEY_ID	opcional	É para usar o recurso de detecção de PII.	5s
AMAZON_REGION	opcional	Região para AWS.	us-west-2
AMAZON_REQUEST_TIMEOUT	opcional	Tempo limite para solicitações da Amazon.	5s
AMAZON_CONNECTION_TIMEOUT	opcional	Tempo limite para conexão Amazon.	10s
ADMIN_PASS	opcional	Senha simples para o servidor administrativo.

Servidor de administração

Doutor arrogante

Servidor proxy

Doutor arrogante