BricksLLMダウンロード - BricksLLMソースコードのダウンロード

BricksLLM

AI ソースコード

v1.41.1

ダウンロード

BricksLLM : LLM を本番環境に導入するための AI ゲートウェイ

ヒント

BricksLLMのマネージドバージョンも利用可能です。本番環境に対応しており、 BricksLLMとの対話を容易にするダッシュボードが付属しています。今すぐ無料でお試しください!

BricksLLM Go で書かれたクラウドネイティブ AI ゲートウェイです。現在、OpenAI、Anthropic、Azure OpenAI、および vLLM のネイティブサポートを提供しています。 BricksLLMあらゆる LLM 運用ユースケースを強化できるエンタープライズレベルのインフラストラクチャを提供することを目指しています。 BricksLLMの使用例をいくつか示します。

さまざまな価格レベルでユーザーの LLM 使用制限を設定する
ユーザーごとおよび組織ごとに LLM の使用状況を追跡する
PII を含むリクエストをブロックまたは編集する
フェイルオーバー、再試行、キャッシュにより LLM の信頼性を向上
内部開発/運用ユースケース向けにレート制限とコスト制限を備えた API キーを配布します。
学生向けにレート制限とコスト制限を設けた API キーを配布する

特徴

はじめる

BricksLLMを使い始める最も簡単な方法は、 BricksLLM -Docker を使用することです。

ステップ 1 - BricksLLM -Docker リポジトリのクローンを作成する

git clone https://github.com/bricks-cloud/BricksLLM-Docker

ステップ 2 - BricksLLM -Docker ディレクトリに変更します

 cd BricksLLM -Docker

ステップ 3 - Postgresql と Redis を使用してBricksLLMローカルにデプロイする

docker compose up

-d フラグを使用してデタッチモードでこれを実行できます: docker compose up -d

ステップ 4 - プロバイダー設定を作成する

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '

応答からidをコピーします。

ステップ 5 - Bricks API キーを作成する

前のステップのid settingIdとして使用して、レート制限が 2 req/min、支出制限が 25 セントのキーを作成します。

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '

おめでとうございます！

その後、リクエストを当社にリダイレクトし、通常どおり OpenAI を使用してください。例えば：

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

または、SDK を使用している場合は、そのbaseURL変更して、SDK を指すようにすることもできます。例えば：

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ;

アップデート方法?

最新バージョンにアップデートするには

docker pull luyuanxin1995/ BricksLLM :latest

特定のバージョンにアップデートする場合

docker pull luyuanxin1995/ BricksLLM :1.4.0

ドキュメント

環境変数

名前タイプ説明デフォルト
POSTGRESQL_HOSTS 必須 Postgresql DB のホスト。で区切って、 localhost
POSTGRESQL_DB_NAME オプション Postgresql DB の名前。
POSTGRESQL_USERNAME 必須 Postgresql DB ユーザー名
POSTGRESQL_PASSWORD 必須 PostgreSQL DBのパスワード
POSTGRESQL_SSL_MODE オプション Postgresql SSL モード disable
POSTGRESQL_PORT オプション Postgresql DB が実行されるポート 5432
POSTGRESQL_READ_TIME_OUT オプション Postgresql 読み取り操作のタイムアウト 2m
POSTGRESQL_WRITE_TIME_OUT オプション Postgresql 書き込み操作のタイムアウト 5s
REDIS_HOSTS 必須 Redis のホスト。で区切って、 localhost
REDIS_PASSWORD オプション Redisのパスワード
REDIS_PORT オプション Redis DB が実行されるポート 6379
REDIS_READ_TIME_OUT オプション Redis 読み取り操作のタイムアウト 1s
REDIS_WRITE_TIME_OUT オプション Redis書き込み操作のタイムアウト 500ms
IN_MEMORY_DB_UPDATE_INTERVAL オプション BricksLLM API ゲートウェイが最新のキー構成について Postgresql DB をポーリングする間隔 1s
STATS_PROVIDER オプション statsd の場合は「datadog」または Host:Port(127.0.0.1:8125)。
PROXY_TIMEOUT オプションプロキシ HTTP リクエストのタイムアウト。 600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS オプショントークンのカウントとデータベースへのイベントの挿入の処理に役立つイベントメッセージコンシューマーの数。 3
AWS_SECRET_ACCESS_KEY オプション PII 検出機能用です。 5s
AWS_ACCESS_KEY_ID オプション PII検出機能を使用するためのものです。 5s
AMAZON_REGION オプション AWS のリージョン。 us-west-2
AMAZON_REQUEST_TIMEOUT オプションアマゾンリクエストのタイムアウト。 5s
AMAZON_CONNECTION_TIMEOUT オプションアマゾン接続のタイムアウト。 10s
ADMIN_PASS オプション管理サーバーの簡単なパスワード。

名前	タイプ	説明	デフォルト
`POSTGRESQL_HOSTS`	必須	Postgresql DB のホスト。で区切って、	`localhost`
`POSTGRESQL_DB_NAME`	オプション	Postgresql DB の名前。
`POSTGRESQL_USERNAME`	必須	Postgresql DB ユーザー名
`POSTGRESQL_PASSWORD`	必須	PostgreSQL DBのパスワード
`POSTGRESQL_SSL_MODE`	オプション	Postgresql SSL モード	`disable`
`POSTGRESQL_PORT`	オプション	Postgresql DB が実行されるポート	`5432`
`POSTGRESQL_READ_TIME_OUT`	オプション	Postgresql 読み取り操作のタイムアウト	`2m`
`POSTGRESQL_WRITE_TIME_OUT`	オプション	Postgresql 書き込み操作のタイムアウト	`5s`
`REDIS_HOSTS`	必須	Redis のホスト。で区切って、	`localhost`
`REDIS_PASSWORD`	オプション	Redisのパスワード
`REDIS_PORT`	オプション	Redis DB が実行されるポート	`6379`
`REDIS_READ_TIME_OUT`	オプション	Redis 読み取り操作のタイムアウト	`1s`
`REDIS_WRITE_TIME_OUT`	オプション	Redis書き込み操作のタイムアウト	`500ms`
`IN_MEMORY_DB_UPDATE_INTERVAL`	オプション	BricksLLM API ゲートウェイが最新のキー構成について Postgresql DB をポーリングする間隔	`1s`
`STATS_PROVIDER`	オプション	statsd の場合は「datadog」または Host:Port(127.0.0.1:8125)。
`PROXY_TIMEOUT`	オプション	プロキシ HTTP リクエストのタイムアウト。	`600s`
`NUMBER_OF_EVENT_MESSAGE_CONSUMERS`	オプション	トークンのカウントとデータベースへのイベントの挿入の処理に役立つイベントメッセージコンシューマーの数。	`3`
`AWS_SECRET_ACCESS_KEY`	オプション	PII 検出機能用です。	`5s`
`AWS_ACCESS_KEY_ID`	オプション	PII検出機能を使用するためのものです。	`5s`
`AMAZON_REGION`	オプション	AWS のリージョン。	`us-west-2`
`AMAZON_REQUEST_TIMEOUT`	オプション	アマゾンリクエストのタイムアウト。	`5s`
`AMAZON_CONNECTION_TIMEOUT`	オプション	アマゾン接続のタイムアウト。	`10s`
`ADMIN_PASS`	オプション	管理サーバーの簡単なパスワード。