BricksLLM
v1.41.1
نصيحة
يتوفر أيضًا إصدار مُدار من BricksLLM ! إنه جاهز للإنتاج ويأتي مزودًا بلوحة تحكم لتسهيل التفاعل مع BricksLLM . جربنا مجانا اليوم!
BricksLLM عبارة عن بوابة سحابية أصلية للذكاء الاصطناعي مكتوبة بلغة Go. حاليًا، يوفر دعمًا أصليًا لـ OpenAI وAnthropic وAzure OpenAI وvLLM. يهدف BricksLLM إلى توفير بنية تحتية على مستوى المؤسسة يمكنها تشغيل أي حالات استخدام لإنتاج LLM. فيما يلي بعض حالات الاستخدام لـ BricksLLM :
أسهل طريقة للبدء مع BricksLLM هي من خلال BricksLLM -Docker.
git clone https://github.com/bricks-cloud/BricksLLM-Docker cd BricksLLM -Dockerdocker compose up يمكنك تشغيل هذا في وضع الفصل باستخدام العلامة -d: docker compose up -d
curl -X PUT http://localhost:8001/api/provider-settings
-H " Content-Type: application/json "
-d ' {
"provider":"openai",
"setting": {
"apikey": "YOUR_OPENAI_KEY"
}
} ' انسخ id من الرد.
استخدم id من الخطوة السابقة كمعرف settingId لإنشاء مفتاح بحد معدل يبلغ 2 طلب/دقيقة وحد إنفاق يبلغ 25 سنتًا.
curl -X PUT http://localhost:8001/api/key-management/keys
-H " Content-Type: application/json "
-d ' {
"name": "My Secret Key",
"key": "my-secret-key",
"tags": ["mykey"],
"settingIds": ["ID_FROM_STEP_FOUR"],
"rateLimitOverTime": 2,
"rateLimitUnit": "m",
"costLimitInUsd": 0.25
} ' بعد ذلك، ما عليك سوى إعادة توجيه طلباتك إلينا واستخدام OpenAI كما تفعل عادةً. على سبيل المثال:
curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions
-H " Authorization: Bearer my-secret-key "
-H " Content-Type: application/json "
-d ' {
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "system",
"content": "hi"
}
]
} ' أو إذا كنت تستخدم SDK، فيمكنك تغيير baseURL الخاص بها للإشارة إلينا. على سبيل المثال:
// OpenAI Node SDK v4
import OpenAI from 'openai' ;
const openai = new OpenAI ( {
apiKey : "some-secret-key" , // key created earlier
baseURL : "http://localhost:8002/api/providers/openai/v1" , // redirect to us
} ) ; للتحديث إلى الإصدار الأحدث
docker pull luyuanxin1995/ BricksLLM :latestللتحديث إلى إصدار معين
docker pull luyuanxin1995/ BricksLLM :1.4.0
اسم يكتب وصف تقصير POSTGRESQL_HOSTSمطلوب المضيفين لقاعدة بيانات Postgresql. مفصولة ، localhostPOSTGRESQL_DB_NAMEخياري اسم قاعدة بيانات Postgresql. POSTGRESQL_USERNAMEمطلوب اسم مستخدم قاعدة بيانات Postgresql POSTGRESQL_PASSWORDمطلوب كلمة مرور قاعدة بيانات Postgresql POSTGRESQL_SSL_MODEخياري وضع Postgresql SSL disablePOSTGRESQL_PORTخياري المنفذ الذي يعمل عليه Postgresql DB 5432POSTGRESQL_READ_TIME_OUTخياري مهلة لعمليات القراءة Postgresql 2mPOSTGRESQL_WRITE_TIME_OUTخياري مهلة لعمليات الكتابة Postgresql 5sREDIS_HOSTSمطلوب مضيف لـ Redis. مفصولة ، localhostREDIS_PASSWORDخياري كلمة مرور ريديس REDIS_PORTخياري المنفذ الذي يعمل عليه Redis DB 6379REDIS_READ_TIME_OUTخياري مهلة عمليات قراءة Redis 1sREDIS_WRITE_TIME_OUTخياري مهلة لعمليات الكتابة Redis 500msIN_MEMORY_DB_UPDATE_INTERVALخياري تقوم بوابة BricksLLM API باستقصاء قاعدة بيانات Postgresql للحصول على أحدث تكوينات المفاتيح 1sSTATS_PROVIDERخياري "datadog" أو المضيف: المنفذ (127.0.0.1:8125) للإحصائيات. PROXY_TIMEOUTخياري المهلة المحددة لطلبات HTTP للوكيل. 600sNUMBER_OF_EVENT_MESSAGE_CONSUMERSخياري عدد مستهلكي رسائل الحدث الذين يساعدون في التعامل مع الرموز المميزة وإدراج الحدث في قاعدة البيانات. 3AWS_SECRET_ACCESS_KEYخياري إنها ميزة الكشف عن معلومات تحديد الهوية الشخصية (PII). 5sAWS_ACCESS_KEY_IDخياري إنه لاستخدام ميزة الكشف عن معلومات تحديد الهوية الشخصية (PII). 5sAMAZON_REGIONخياري منطقة AWS. us-west-2AMAZON_REQUEST_TIMEOUTخياري مهلة لطلبات الأمازون. 5sAMAZON_CONNECTION_TIMEOUTخياري مهلة للاتصال الأمازون. 10sADMIN_PASSخياري كلمة مرور بسيطة لخادم المسؤول.
وثيقة سواغر
وثيقة سواغر
