BricksLLM

BricksLLM : AI-шлюз для запуска LLM в производство

Кончик

Также доступна управляемая версия BricksLLM ! Он готов к производству и поставляется с панелью управления, упрощающей взаимодействие с BricksLLM . Попробуйте нас бесплатно сегодня!

BricksLLM — это облачный шлюз искусственного интеллекта, написанный на Go. В настоящее время он обеспечивает встроенную поддержку OpenAI, Anthropic, Azure OpenAI и vLLM. BricksLLM стремится предоставить инфраструктуру уровня предприятия, которая может обеспечить любые сценарии использования LLM. Вот несколько вариантов использования BricksLLM :

• Установите ограничения на использование LLM для пользователей разных ценовых категорий.
• Отслеживайте использование LLM для каждого пользователя и для каждой организации.
• Блокировать или редактировать запросы, содержащие персональные данные
• Повышайте надежность LLM за счет аварийного переключения, повторных попыток и кэширования.
• Распространение ключей API с ограничениями скорости и стоимости для внутренних сценариев использования в разработке/производстве.
• Распространяйте ключи API с ограничениями по скорости и стоимости для студентов.

Функции

• Обнаружение и маскирование личных данных
• Ограничение скорости
• Контроль затрат
• Аналитика затрат
• Запросить аналитику
• Кэширование
• Запросить повторные попытки
• Аварийное переключение
• Контроль доступа к модели
• Контроль доступа к конечной точке
• Встроенная поддержка всех конечных точек OpenAI.
• Встроенная поддержка Anthropic
• Встроенная поддержка Azure OpenAI.
• Встроенная поддержка vLLM
• Встроенная поддержка Deepinfra
• Поддержка пользовательских развертываний
• Интеграция с пользовательскими моделями
• Интеграция данных
• Ведение журнала с контролем конфиденциальности

Начиная

Самый простой способ начать работу с BricksLLM — через BricksLLM -Docker.

Шаг 1. Клонирование BricksLLM — репозиторий Docker.

git clone https://github.com/bricks-cloud/BricksLLM-Docker

Шаг 2. Перейдите в каталог BricksLLM -Docker.

 cd BricksLLM -Docker

Шаг 3. Разверните BricksLLM локально с помощью Postgresql и Redis.

docker compose up

Вы можете запустить это в режиме отсоединения, используя флаг -d: docker compose up -d

Шаг 4. Создайте настройку провайдера

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '   

Скопируйте id из ответа.

Шаг 5. Создайте ключ API Bricks.

Используйте id из предыдущего шага в качестве settingId чтобы создать ключ с ограничением скорости 2 запросов в минуту и ​​лимитом расходов 25 центов.

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '   

Поздравляем, вы закончили!!!

Затем просто перенаправьте нам свои запросы и используйте OpenAI, как обычно. Например:

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

Или, если вы используете SDK, вы можете изменить его baseURL , чтобы он указывал на нас. Например:

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; 

Как обновить?

Для обновления до последней версии

docker pull luyuanxin1995/ BricksLLM :latest

Для обновления до определенной версии

docker pull luyuanxin1995/ BricksLLM :1.4.0

Документация

Переменные среды

Имя	тип	описание	по умолчанию
POSTGRESQL_HOSTS	необходимый	Хосты для БД Postgresql. Разделены ,	localhost
POSTGRESQL_DB_NAME	необязательный	Имя для базы данных Postgresql.
POSTGRESQL_USERNAME	необходимый	Имя пользователя базы данных Postgresql
POSTGRESQL_PASSWORD	необходимый	Пароль к базе данных Postgresql
POSTGRESQL_SSL_MODE	необязательный	Режим SSL Postgresql	disable
POSTGRESQL_PORT	необязательный	Порт, на котором работает БД Postgresql.	5432
POSTGRESQL_READ_TIME_OUT	необязательный	Таймаут для операций чтения Postgresql	2m
POSTGRESQL_WRITE_TIME_OUT	необязательный	Тайм-аут для операций записи Postgresql	5s
REDIS_HOSTS	необходимый	Хост для Redis. Разделены ,	localhost
REDIS_PASSWORD	необязательный	Пароль Redis
REDIS_PORT	необязательный	Порт, на котором работает Redis DB.	6379
REDIS_READ_TIME_OUT	необязательный	Тайм-аут для операций чтения Redis	1s
REDIS_WRITE_TIME_OUT	необязательный	Тайм-аут для операций записи Redis	500ms
IN_MEMORY_DB_UPDATE_INTERVAL	необязательный	Интервал шлюза API BricksLLM опрашивает базу данных Postgresql на наличие последних ключевых конфигураций.	1s
STATS_PROVIDER	необязательный	«datadog» или Host:Port(127.0.0.1:8125) для statsd.
PROXY_TIMEOUT	необязательный	Таймаут для HTTP-запросов прокси.	600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS	необязательный	Количество потребителей сообщений о событиях, которые помогают обрабатывать токены подсчета и вставлять события в базу данных.	3
AWS_SECRET_ACCESS_KEY	необязательный	Это функция обнаружения PII.	5s
AWS_ACCESS_KEY_ID	необязательный	Это для использования функции обнаружения PII.	5s
AMAZON_REGION	необязательный	Регион для AWS.	us-west-2
AMAZON_REQUEST_TIMEOUT	необязательный	Таймаут для запросов Amazon.	5s
AMAZON_CONNECTION_TIMEOUT	необязательный	Тайм-аут подключения к Amazon.	10s
ADMIN_PASS	необязательный	Простой пароль для администратора сервера.

Административный сервер

Сваггер Док

Прокси-сервер

Сваггер Док