BricksLLM下載 - BricksLLM原始碼下載

BricksLLM

Ai源碼

v1.41.1

下載

BricksLLM ：用於將 LLM 投入生產的 AI 網關

提示

BricksLLM的託管版本也可用！它已做好生產準備，並配有儀表板，使與BricksLLM的互動更加容易。今天就免費試用我們！

BricksLLM是一個用 Go 寫的雲端原生 AI 閘道。目前，它為 OpenAI、Anthropic、Azure OpenAI 和 vLLM 提供本機支援。 BricksLLM旨在提供企業級基礎設施，為任何 LLM 生產用例提供支援。以下是BricksLLM的一些用例：

為不同定價層的使用者設定LLM使用限制
追蹤每個使用者和每個組織的 LLM 使用情況
封鎖或編輯包含 PII 的請求
透過故障轉移、重試和快取提高 LLM 可靠性
為內部開發/生產用例分發具有速率限制和成本限制的 API 金鑰
為學生分發具有速率限制和成本限制的 API 金鑰

特徵

入門

開始使用BricksLLM最簡單的方法是透過BricksLLM -Docker。

步驟 1 - 克隆BricksLLM -Docker 儲存庫

git clone https://github.com/bricks-cloud/BricksLLM-Docker

步驟 2 - 更改為BricksLLM -Docker 目錄

 cd BricksLLM -Docker

步驟 3 - 使用 Postgresql 和 Redis 在本地部署BricksLLM

docker compose up

您可以使用 -d 標誌在分離模式下運行它： docker compose up -d

第 4 步 - 建立提供者設置

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '

從回應複製id 。

步驟 5 - 建立 Bricks API 金鑰

使用上一個步驟中的id作為settingId建立一個金鑰，其速率限制為 2 請求/分鐘，支出限制為 25 美分。

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '

恭喜你完成了！

然後，只需將您的請求重定向給我們並像平常一樣使用 OpenAI 即可。例如：

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

或者，如果您使用 SDK，則可以變更其baseURL以指向我們。例如：

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ;

如何更新？

用於更新到最新版本

docker pull luyuanxin1995/ BricksLLM :latest

用於更新到特定版本

docker pull luyuanxin1995/ BricksLLM :1.4.0

文件

環境變數

姓名類型描述預設
POSTGRESQL_HOSTS 必需的 Postgresql 資料庫的主機。分隔為 , localhost
POSTGRESQL_DB_NAME 選修的 Postgresql 資料庫的名稱。
POSTGRESQL_USERNAME 必需的 Postgresql 資料庫使用者名稱
POSTGRESQL_PASSWORD 必需的 Postgresql 資料庫密碼
POSTGRESQL_SSL_MODE 選修的 Postgresql SSL 模式 disable
POSTGRESQL_PORT 選修的 Postgresql DB 運作的連接埠 5432
POSTGRESQL_READ_TIME_OUT 選修的 Postgresql 讀取操作逾時 2m
POSTGRESQL_WRITE_TIME_OUT 選修的 Postgresql 寫入操作逾時 5s
REDIS_HOSTS 必需的 Redis 的主機。分隔為 , localhost
REDIS_PASSWORD 選修的 Redis密碼
REDIS_PORT 選修的 Redis DB 運行的端口 6379
REDIS_READ_TIME_OUT 選修的 Redis 讀取操作逾時 1s
REDIS_WRITE_TIME_OUT 選修的 Redis寫入操作逾時 500ms
IN_MEMORY_DB_UPDATE_INTERVAL 選修的 BricksLLM API 閘道輪詢 Postgresql DB 以獲得最新關鍵設定的時間間隔 1s
STATS_PROVIDER 選修的 “datadog”或 Host:Port(127.0.0.1:8125) 用於 statsd。
PROXY_TIMEOUT 選修的代理 HTTP 請求超時。 600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS 選修的幫助處理計數標記並將事件插入資料庫的事件訊息使用者的數量。 3
AWS_SECRET_ACCESS_KEY 選修的它用於 PII 檢測功能。 5s
AWS_ACCESS_KEY_ID 選修的用於使用 PII 檢測功能。 5s
AMAZON_REGION 選修的 AWS 的區域。 us-west-2
AMAZON_REQUEST_TIMEOUT 選修的亞馬遜請求超時。 5s
AMAZON_CONNECTION_TIMEOUT 選修的亞馬遜連接超時。 10s
ADMIN_PASS 選修的管理伺服器的簡單密碼。

姓名	類型	描述	預設
`POSTGRESQL_HOSTS`	必需的	Postgresql 資料庫的主機。分隔為 ,	`localhost`
`POSTGRESQL_DB_NAME`	選修的	Postgresql 資料庫的名稱。
`POSTGRESQL_USERNAME`	必需的	Postgresql 資料庫使用者名稱
`POSTGRESQL_PASSWORD`	必需的	Postgresql 資料庫密碼
`POSTGRESQL_SSL_MODE`	選修的	Postgresql SSL 模式	`disable`
`POSTGRESQL_PORT`	選修的	Postgresql DB 運作的連接埠	`5432`
`POSTGRESQL_READ_TIME_OUT`	選修的	Postgresql 讀取操作逾時	`2m`
`POSTGRESQL_WRITE_TIME_OUT`	選修的	Postgresql 寫入操作逾時	`5s`
`REDIS_HOSTS`	必需的	Redis 的主機。分隔為 ,	`localhost`
`REDIS_PASSWORD`	選修的	Redis密碼
`REDIS_PORT`	選修的	Redis DB 運行的端口	`6379`
`REDIS_READ_TIME_OUT`	選修的	Redis 讀取操作逾時	`1s`
`REDIS_WRITE_TIME_OUT`	選修的	Redis寫入操作逾時	`500ms`
`IN_MEMORY_DB_UPDATE_INTERVAL`	選修的	BricksLLM API 閘道輪詢 Postgresql DB 以獲得最新關鍵設定的時間間隔	`1s`
`STATS_PROVIDER`	選修的	“datadog”或 Host:Port(127.0.0.1:8125) 用於 statsd。
`PROXY_TIMEOUT`	選修的	代理 HTTP 請求超時。	`600s`
`NUMBER_OF_EVENT_MESSAGE_CONSUMERS`	選修的	幫助處理計數標記並將事件插入資料庫的事件訊息使用者的數量。	`3`
`AWS_SECRET_ACCESS_KEY`	選修的	它用於 PII 檢測功能。	`5s`
`AWS_ACCESS_KEY_ID`	選修的	用於使用 PII 檢測功能。	`5s`
`AMAZON_REGION`	選修的	AWS 的區域。	`us-west-2`
`AMAZON_REQUEST_TIMEOUT`	選修的	亞馬遜請求超時。	`5s`
`AMAZON_CONNECTION_TIMEOUT`	選修的	亞馬遜連接超時。	`10s`
`ADMIN_PASS`	選修的	管理伺服器的簡單密碼。