BricksLLM

BricksLLM : KI-Gateway für die Produktion von LLMs

Tipp

Eine verwaltete Version von BricksLLM ist ebenfalls verfügbar! Es ist produktionsbereit und verfügt über ein Dashboard, um die Interaktion mit BricksLLM zu erleichtern. Testen Sie uns noch heute kostenlos!

BricksLLM ist ein in Go geschriebenes Cloud-natives KI-Gateway. Derzeit bietet es native Unterstützung für OpenAI, Anthropic, Azure OpenAI und vLLM. BricksLLM zielt darauf ab, eine Infrastruktur auf Unternehmensebene bereitzustellen, die alle LLM-Produktionsanwendungsfälle unterstützen kann. Hier sind einige Anwendungsfälle für BricksLLM :

• Legen Sie LLM-Nutzungslimits für Benutzer verschiedener Preisstufen fest
• Verfolgen Sie die LLM-Nutzung pro Benutzer und pro Organisation
• Blockieren oder redigieren Sie Anfragen, die personenbezogene Daten enthalten
• Verbessern Sie die LLM-Zuverlässigkeit durch Failover, Wiederholungsversuche und Caching
• Verteilen Sie API-Schlüssel mit Raten- und Kostenlimits für interne Entwicklungs-/Produktionsanwendungsfälle
• Verteilen Sie API-Schlüssel mit Raten- und Kostenlimits für Studenten

Merkmale

• PII-Erkennung und -Maskierung
• Ratenbegrenzung
• Kostenkontrolle
• Kostenanalyse
• Fordern Sie Analysen an
• Caching
• Anforderungswiederholungen
• Failover
• Modellzugriffskontrolle
• Endpunkt-Zugriffskontrolle
• Native Unterstützung für alle OpenAI-Endpunkte
• Native Unterstützung für Anthropic
• Native Unterstützung für Azure OpenAI
• Native Unterstützung für vLLM
• Native Unterstützung für Deepinfra
• Unterstützung für benutzerdefinierte Bereitstellungen
• Integration mit benutzerdefinierten Modellen
• Datadog-Integration
• Protokollierung mit Datenschutzkontrolle

Erste Schritte

Der einfachste Weg, mit BricksLLM zu beginnen, ist BricksLLM -Docker.

Schritt 1 – BricksLLM -Docker-Repository klonen

git clone https://github.com/bricks-cloud/BricksLLM-Docker

Schritt 2 – Wechseln Sie in BricksLLM -Docker-Verzeichnis

 cd BricksLLM -Docker

Schritt 3 – BricksLLM lokal mit Postgresql und Redis bereitstellen

docker compose up

Sie können dies im Trennmodus ausführen, indem Sie das Flag -d verwenden: docker compose up -d

Schritt 4 – Erstellen Sie eine Anbietereinstellung

curl -X PUT http://localhost:8001/api/provider-settings 
   -H " Content-Type: application/json " 
   -d ' {
          "provider":"openai",
          "setting": {
             "apikey": "YOUR_OPENAI_KEY"
          }
      } '   

Kopieren Sie die id aus der Antwort.

Schritt 5 – Erstellen Sie einen Bricks-API-Schlüssel

Verwenden Sie id aus dem vorherigen Schritt als settingId um einen Schlüssel mit einem Ratenlimit von 2 Anforderungen/Minute und einem Ausgabenlimit von 25 Cent zu erstellen.

curl -X PUT http://localhost:8001/api/key-management/keys 
   -H " Content-Type: application/json " 
   -d ' {
	      "name": "My Secret Key",
	      "key": "my-secret-key",
	      "tags": ["mykey"],
        "settingIds": ["ID_FROM_STEP_FOUR"],
        "rateLimitOverTime": 2,
        "rateLimitUnit": "m",
        "costLimitInUsd": 0.25
      } '   

Herzlichen Glückwunsch, Sie sind fertig!!!

Dann leiten Sie Ihre Anfragen einfach an uns weiter und nutzen Sie OpenAI wie gewohnt. Zum Beispiel:

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions 
   -H " Authorization: Bearer my-secret-key " 
   -H " Content-Type: application/json " 
   -d ' {
          "model": "gpt-3.5-turbo",
          "messages": [
              {
                  "role": "system",
                  "content": "hi"
              }
          ]
      } '

Wenn Sie ein SDK verwenden, können Sie dessen baseURL so ändern, dass sie auf uns verweist. Zum Beispiel:

 // OpenAI Node SDK v4
import OpenAI from 'openai' ;

const openai = new OpenAI ( {
  apiKey : "some-secret-key" , // key created earlier
  baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; 

Wie aktualisiere ich?

Zum Aktualisieren auf die neueste Version

docker pull luyuanxin1995/ BricksLLM :latest

Zum Aktualisieren auf eine bestimmte Version

docker pull luyuanxin1995/ BricksLLM :1.4.0

Dokumentation

Umgebungsvariablen

Name	Typ	Beschreibung	Standard
POSTGRESQL_HOSTS	erforderlich	Hosts für Postgresql DB. Getrennt durch ,	localhost
POSTGRESQL_DB_NAME	optional	Name für die Postgresql-Datenbank.
POSTGRESQL_USERNAME	erforderlich	Postgresql-DB-Benutzername
POSTGRESQL_PASSWORD	erforderlich	Postgresql-DB-Passwort
POSTGRESQL_SSL_MODE	optional	Postgresql-SSL-Modus	disable
POSTGRESQL_PORT	optional	Der Port, auf dem Postgresql DB ausgeführt wird	5432
POSTGRESQL_READ_TIME_OUT	optional	Timeout für Postgresql-Lesevorgänge	2m
POSTGRESQL_WRITE_TIME_OUT	optional	Timeout für Postgresql-Schreibvorgänge	5s
REDIS_HOSTS	erforderlich	Host für Redis. Getrennt durch ,	localhost
REDIS_PASSWORD	optional	Redis-Passwort
REDIS_PORT	optional	Der Port, auf dem Redis DB ausgeführt wird	6379
REDIS_READ_TIME_OUT	optional	Timeout für Redis-Lesevorgänge	1s
REDIS_WRITE_TIME_OUT	optional	Timeout für Redis-Schreibvorgänge	500ms
IN_MEMORY_DB_UPDATE_INTERVAL	optional	Das Intervall BricksLLM API-Gateways fragt die Postgresql-Datenbank nach den neuesten Schlüsselkonfigurationen ab	1s
STATS_PROVIDER	optional	„datadog“ oder Host:Port(127.0.0.1:8125) für statsd.
PROXY_TIMEOUT	optional	Zeitüberschreitung für Proxy-HTTP-Anfragen.	600s
NUMBER_OF_EVENT_MESSAGE_CONSUMERS	optional	Anzahl der Ereignisnachrichtenkonsumenten, die beim Zählen von Token und beim Einfügen von Ereignissen in die Datenbank helfen.	3
AWS_SECRET_ACCESS_KEY	optional	Es dient der PII-Erkennungsfunktion.	5s
AWS_ACCESS_KEY_ID	optional	Es dient der Verwendung der PII-Erkennungsfunktion.	5s
AMAZON_REGION	optional	Region für AWS.	us-west-2
AMAZON_REQUEST_TIMEOUT	optional	Timeout für Amazon-Anfragen.	5s
AMAZON_CONNECTION_TIMEOUT	optional	Timeout für Amazon-Verbindung.	10s
ADMIN_PASS	optional	Einfaches Passwort für den Admin-Server.

Admin-Server

Swagger Doc

Proxyserver

Swagger Doc