BricksLLM下载 - BricksLLM源代码下载

BricksLLM

Ai源码

v1.41.1

下载

BricksLLM ：用于将 LLM 投入生产的 AI 网关

提示

BricksLLM的托管版本也可用！它已做好生产准备，并配有仪表板，使与BricksLLM的交互更加容易。今天免费试用我们！

BricksLLM是一个用 Go 编写的云原生 AI 网关。目前，它为 OpenAI、Anthropic、Azure OpenAI 和 vLLM 提供本机支持。 BricksLLM旨在提供企业级基础设施，为任何 LLM 生产用例提供支持。以下是BricksLLM的一些用例：

为不同定价层的用户设置LLM使用限制
跟踪每个用户和每个组织的 LLM 使用情况
阻止或编辑包含 PII 的请求
通过故障转移、重试和缓存提高 LLM 可靠性
为内部开发/生产用例分发具有速率限制和成本限制的 API 密钥
为学生分发具有速率限制和成本限制的 API 密钥

特征

入门

开始使用BricksLLM最简单方法是通过BricksLLM -Docker。

第 1 步 - 克隆BricksLLM -Docker 存储库

git clone https://github.com/bricks-cloud/BricksLLM-Docker

第 2 步 - 更改为BricksLLM -Docker 目录

 cd BricksLLM -Docker

步骤 3 - 使用 Postgresql 和 Redis 在本地部署BricksLLM

docker compose up

您可以使用 -d 标志在分离模式下运行它： docker compose up -d

第 4 步 - 创建提供商设置

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '

从响应中复制id 。

第 5 步 - 创建 Bricks API 密钥

使用上一步中的id作为settingId创建一个密钥，其速率限制为 2 请求/分钟，支出限制为 25 美分。

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '

恭喜你完成了！！！

然后，只需将您的请求重定向给我们并像平常一样使用 OpenAI 即可。例如：

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

或者，如果您使用的是 SDK，则可以更改其baseURL以指向我们。例如：

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ;

如何更新？

用于更新到最新版本

docker pull luyuanxin1995/ BricksLLM :latest

用于更新到特定版本

docker pull luyuanxin1995/ BricksLLM :1.4.0

文档

环境变量

姓名类型描述默认
POSTGRESQL_HOSTS 必需的 Postgresql 数据库的主机。分隔为 , localhost
POSTGRESQL_DB_NAME 选修的 Postgresql 数据库的名称。
POSTGRESQL_USERNAME 必需的 Postgresql 数据库用户名
POSTGRESQL_PASSWORD 必需的 Postgresql 数据库密码
POSTGRESQL_SSL_MODE 选修的 Postgresql SSL 模式 disable
POSTGRESQL_PORT 选修的 Postgresql DB 运行的端口 5432
POSTGRESQL_READ_TIME_OUT 选修的 Postgresql 读取操作超时 2m
POSTGRESQL_WRITE_TIME_OUT 选修的 Postgresql 写操作超时 5s
REDIS_HOSTS 必需的 Redis 的主机。分隔为 , localhost
REDIS_PASSWORD 选修的 Redis密码
REDIS_PORT 选修的 Redis DB 运行的端口 6379
REDIS_READ_TIME_OUT 选修的 Redis 读操作超时 1s
REDIS_WRITE_TIME_OUT 选修的 Redis写操作超时 500ms
IN_MEMORY_DB_UPDATE_INTERVAL 选修的 BricksLLM API 网关轮询 Postgresql DB 以获得最新关键配置的时间间隔 1s
STATS_PROVIDER 选修的 “datadog”或 Host:Port(127.0.0.1:8125) 用于 statsd。
PROXY_TIMEOUT 选修的代理 HTTP 请求超时。 600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS 选修的帮助处理计数标记并将事件插入数据库的事件消息使用者的数量。 3
AWS_SECRET_ACCESS_KEY 选修的它用于 PII 检测功能。 5s
AWS_ACCESS_KEY_ID 选修的用于使用 PII 检测功能。 5s
AMAZON_REGION 选修的 AWS 的区域。 us-west-2
AMAZON_REQUEST_TIMEOUT 选修的亚马逊请求超时。 5s
AMAZON_CONNECTION_TIMEOUT 选修的亚马逊连接超时。 10s
ADMIN_PASS 选修的管理服务器的简单密码。

姓名	类型	描述	默认
`POSTGRESQL_HOSTS`	必需的	Postgresql 数据库的主机。分隔为 ,	`localhost`
`POSTGRESQL_DB_NAME`	选修的	Postgresql 数据库的名称。
`POSTGRESQL_USERNAME`	必需的	Postgresql 数据库用户名
`POSTGRESQL_PASSWORD`	必需的	Postgresql 数据库密码
`POSTGRESQL_SSL_MODE`	选修的	Postgresql SSL 模式	`disable`
`POSTGRESQL_PORT`	选修的	Postgresql DB 运行的端口	`5432`
`POSTGRESQL_READ_TIME_OUT`	选修的	Postgresql 读取操作超时	`2m`
`POSTGRESQL_WRITE_TIME_OUT`	选修的	Postgresql 写操作超时	`5s`
`REDIS_HOSTS`	必需的	Redis 的主机。分隔为 ,	`localhost`
`REDIS_PASSWORD`	选修的	Redis密码
`REDIS_PORT`	选修的	Redis DB 运行的端口	`6379`
`REDIS_READ_TIME_OUT`	选修的	Redis 读操作超时	`1s`
`REDIS_WRITE_TIME_OUT`	选修的	Redis写操作超时	`500ms`
`IN_MEMORY_DB_UPDATE_INTERVAL`	选修的	BricksLLM API 网关轮询 Postgresql DB 以获得最新关键配置的时间间隔	`1s`
`STATS_PROVIDER`	选修的	“datadog”或 Host:Port(127.0.0.1:8125) 用于 statsd。
`PROXY_TIMEOUT`	选修的	代理 HTTP 请求超时。	`600s`
`NUMBER_OF_EVENT_MESSAGE_CONSUMERS`	选修的	帮助处理计数标记并将事件插入数据库的事件消息使用者的数量。	`3`
`AWS_SECRET_ACCESS_KEY`	选修的	它用于 PII 检测功能。	`5s`
`AWS_ACCESS_KEY_ID`	选修的	用于使用 PII 检测功能。	`5s`
`AMAZON_REGION`	选修的	AWS 的区域。	`us-west-2`
`AMAZON_REQUEST_TIMEOUT`	选修的	亚马逊请求超时。	`5s`
`AMAZON_CONNECTION_TIMEOUT`	选修的	亚马逊连接超时。	`10s`
`ADMIN_PASS`	选修的	管理服务器的简单密码。