BricksLLM
v1.41.1
Conseil
Une version gérée de BricksLLM est également disponible ! Il est prêt pour la production et est livré avec un tableau de bord pour faciliter l'interaction avec BricksLLM . Essayez-nous gratuitement dès aujourd'hui !
BricksLLM est une passerelle d'IA native cloud écrite en Go. Actuellement, il fournit une prise en charge native d'OpenAI, Anthropic, Azure OpenAI et vLLM. BricksLLM vise à fournir une infrastructure de niveau entreprise capable d'alimenter tous les cas d'utilisation de production LLM. Voici quelques cas d’utilisation de BricksLLM :
Le moyen le plus simple de démarrer avec BricksLLM consiste à utiliser BricksLLM -Docker.
git clone https://github.com/bricks-cloud/BricksLLM-Docker cd BricksLLM -Dockerdocker compose up Vous pouvez l'exécuter en mode détaché, utilisez l'indicateur -d : docker compose up -d
curl -X PUT http://localhost:8001/api/provider-settings
-H " Content-Type: application/json "
-d ' {
"provider":"openai",
"setting": {
"apikey": "YOUR_OPENAI_KEY"
}
} ' Copiez l' id de la réponse.
Utilisez id de l'étape précédente comme settingId pour créer une clé avec une limite de débit de 2 req/min et une limite de dépenses de 25 cents.
curl -X PUT http://localhost:8001/api/key-management/keys
-H " Content-Type: application/json "
-d ' {
"name": "My Secret Key",
"key": "my-secret-key",
"tags": ["mykey"],
"settingIds": ["ID_FROM_STEP_FOUR"],
"rateLimitOverTime": 2,
"rateLimitUnit": "m",
"costLimitInUsd": 0.25
} ' Ensuite, redirigez-nous simplement vos demandes et utilisez OpenAI comme vous le feriez normalement. Par exemple:
curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions
-H " Authorization: Bearer my-secret-key "
-H " Content-Type: application/json "
-d ' {
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "system",
"content": "hi"
}
]
} ' Ou si vous utilisez un SDK, vous pouvez modifier son baseURL pour qu'elle pointe vers nous. Par exemple:
// OpenAI Node SDK v4
import OpenAI from 'openai' ;
const openai = new OpenAI ( {
apiKey : "some-secret-key" , // key created earlier
baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; Pour mettre à jour vers la dernière version
docker pull luyuanxin1995/ BricksLLM :latestPour mettre à jour vers une version particulière
docker pull luyuanxin1995/ BricksLLM :1.4.0
Nom taper description défaut POSTGRESQL_HOSTSrequis Hôtes pour la base de données Postgresql. Séparé par , localhostPOSTGRESQL_DB_NAMEfacultatif Nom de la base de données Postgresql. POSTGRESQL_USERNAMErequis Nom d'utilisateur de la base de données Postgresql POSTGRESQL_PASSWORDrequis Mot de passe de la base de données Postgresql POSTGRESQL_SSL_MODEfacultatif Mode SSL Postgresql disablePOSTGRESQL_PORTfacultatif Le port sur lequel la base de données Postgresql s'exécute 5432POSTGRESQL_READ_TIME_OUTfacultatif Délai d'expiration pour les opérations de lecture Postgresql 2mPOSTGRESQL_WRITE_TIME_OUTfacultatif Délai d'expiration pour les opérations d'écriture Postgresql 5sREDIS_HOSTSrequis Hôte pour Redis. Séparé par , localhostREDIS_PASSWORDfacultatif Mot de passe Redis REDIS_PORTfacultatif Le port sur lequel Redis DB s'exécute 6379REDIS_READ_TIME_OUTfacultatif Délai d'expiration pour les opérations de lecture Redis 1sREDIS_WRITE_TIME_OUTfacultatif Délai d'expiration pour les opérations d'écriture Redis 500msIN_MEMORY_DB_UPDATE_INTERVALfacultatif La passerelle API BricksLLM d'intervalle interroge la base de données Postgresql pour connaître les dernières configurations de clés. 1sSTATS_PROVIDERfacultatif "datadog" ou Host:Port(127.0.0.1:8125) pour statsd. PROXY_TIMEOUTfacultatif Délai d'expiration pour les requêtes HTTP proxy. 600sNUMBER_OF_EVENT_MESSAGE_CONSUMERSfacultatif Nombre de consommateurs de messages d'événement qui aident à gérer le comptage des jetons et l'insertion d'événements dans la base de données. 3AWS_SECRET_ACCESS_KEYfacultatif C'est pour la fonction de détection PII. 5sAWS_ACCESS_KEY_IDfacultatif C'est pour utiliser la fonction de détection PII. 5sAMAZON_REGIONfacultatif Région pour AWS. us-west-2AMAZON_REQUEST_TIMEOUTfacultatif Délai d'attente pour les demandes Amazon. 5sAMAZON_CONNECTION_TIMEOUTfacultatif Délai d'attente pour la connexion Amazon. 10sADMIN_PASSfacultatif Mot de passe simple pour le serveur d'administration.
Doc Swagger
Doc Swagger
