BricksLLM

BricksLLM : Gerbang AI Untuk Menempatkan LLM Dalam Produksi

Tip

Versi BricksLLM yang dikelola juga tersedia! Ini siap produksi, dan dilengkapi dengan dasbor untuk memudahkan interaksi dengan BricksLLM . Cobalah kami secara gratis hari ini!

BricksLLM adalah gateway AI asli cloud yang ditulis dalam Go. Saat ini, ia menyediakan dukungan asli untuk OpenAI, Anthropic, Azure OpenAI, dan vLLM. BricksLLM bertujuan untuk menyediakan infrastruktur tingkat perusahaan yang dapat mendukung setiap kasus penggunaan produksi LLM. Berikut beberapa kasus penggunaan BricksLLM :

• Tetapkan batas penggunaan LLM untuk pengguna pada tingkat harga yang berbeda
• Lacak penggunaan LLM berdasarkan per pengguna dan per organisasi
• Blokir atau edit permintaan yang berisi PII
• Tingkatkan keandalan LLM dengan failover, percobaan ulang, dan caching
• Distribusikan kunci API dengan batas kapasitas dan batas biaya untuk kasus penggunaan pengembangan/produksi internal
• Distribusikan kunci API dengan batasan tarif dan batasan biaya untuk siswa

Fitur

• Deteksi dan penyembunyian PII
• Batas tarif
• Pengendalian biaya
• Analisis biaya
• Minta analisis
• cache
• Minta Percobaan Ulang
• kegagalan
• Kontrol akses model
• Kontrol akses titik akhir
• Dukungan asli untuk semua titik akhir OpenAI
• Dukungan asli untuk Antropik
• Dukungan asli untuk Azure OpenAI
• Dukungan asli untuk vLLM
• Dukungan asli untuk Deepinfra
• Dukungan untuk penerapan khusus
• Integrasi dengan model khusus
• Integrasi anjing data
• Logging dengan kontrol privasi

Memulai

Cara termudah untuk memulai BricksLLM adalah melalui BricksLLM -Docker.

Langkah 1 - Kloning BricksLLM -Repositori Docker

git clone https://github.com/bricks-cloud/BricksLLM-Docker

Langkah 2 - Ubah ke direktori BricksLLM -Docker

 cd BricksLLM -Docker

Langkah 3 - Terapkan BricksLLM secara lokal dengan Postgresql dan Redis

docker compose up

Anda dapat menjalankan ini dalam mode pelepasan menggunakan tanda -d: docker compose up -d

Langkah 4 - Buat pengaturan penyedia

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '   

Salin id dari respons.

Langkah 5 - Buat kunci API Bricks

Gunakan id dari langkah sebelumnya sebagai settingId untuk membuat kunci dengan batas kecepatan 2 permintaan/mnt dan batas pembelanjaan 25 sen.

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '   

Selamat, Anda sudah selesai!!!

Lalu, arahkan saja permintaan Anda kepada kami dan gunakan OpenAI seperti biasa. Misalnya:

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

Atau jika Anda menggunakan SDK, Anda dapat mengubah baseURL -nya agar mengarah ke kami. Misalnya:

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; 

Bagaimana Cara Memperbarui?

Untuk memperbarui ke versi terbaru

docker pull luyuanxin1995/ BricksLLM :latest

Untuk memperbarui ke versi tertentu

docker pull luyuanxin1995/ BricksLLM :1.4.0

Dokumentasi

Variabel lingkungan

Nama	jenis	keterangan	bawaan
POSTGRESQL_HOSTS	diperlukan	Host untuk DB Postgresql. Dipisahkan oleh ,	localhost
POSTGRESQL_DB_NAME	opsional	Nama untuk DB Postgresql.
POSTGRESQL_USERNAME	diperlukan	Nama pengguna DB Postgresql
POSTGRESQL_PASSWORD	diperlukan	Kata sandi DB Postgresql
POSTGRESQL_SSL_MODE	opsional	Mode SSL pascagresql	disable
POSTGRESQL_PORT	opsional	Port tempat Postgresql DB dijalankan	5432
POSTGRESQL_READ_TIME_OUT	opsional	Batas waktu untuk operasi baca Postgresql	2m
POSTGRESQL_WRITE_TIME_OUT	opsional	Batas waktu untuk operasi penulisan Postgresql	5s
REDIS_HOSTS	diperlukan	Tuan rumah untuk Redis. Dipisahkan oleh ,	localhost
REDIS_PASSWORD	opsional	Kata Sandi Ulang
REDIS_PORT	opsional	Port tempat Redis DB dijalankan	6379
REDIS_READ_TIME_OUT	opsional	Batas waktu untuk operasi baca Redis	1s
REDIS_WRITE_TIME_OUT	opsional	Batas waktu untuk operasi penulisan Redis	500ms
IN_MEMORY_DB_UPDATE_INTERVAL	opsional	Interval BricksLLM API gateway melakukan polling DB Postgresql untuk konfigurasi kunci terbaru	1s
STATS_PROVIDER	opsional	"datadog" atau Host:Port(127.0.0.1:8125) untuk statsd.
PROXY_TIMEOUT	opsional	Batas waktu untuk permintaan HTTP proxy.	600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS	opsional	Jumlah konsumen pesan peristiwa yang membantu menangani penghitungan token dan memasukkan peristiwa ke dalam db.	3
AWS_SECRET_ACCESS_KEY	opsional	Ini untuk fitur deteksi PII.	5s
AWS_ACCESS_KEY_ID	opsional	Ini untuk menggunakan fitur deteksi PII.	5s
AMAZON_REGION	opsional	Wilayah untuk AWS.	us-west-2
AMAZON_REQUEST_TIMEOUT	opsional	Batas waktu untuk permintaan amazon.	5s
AMAZON_CONNECTION_TIMEOUT	opsional	Batas waktu untuk koneksi amazon.	10s
ADMIN_PASS	opsional	Kata sandi sederhana untuk server admin.

Server Admin

Kesombongan Dok

Server Proksi

Kesombongan Dok