serge
0.9.0 - Updates to dependencies and UI fixes
Serge عبارة عن واجهة دردشة تم تصميمها باستخدام llama.cpp لتشغيل نماذج GGUF. لا توجد مفاتيح API، مستضافة ذاتيًا بالكامل!
؟ العرض التوضيحي:
؟ عامل ميناء:
docker run -d
--name serge
-v weights:/usr/src/app/weights
-v datadb:/data/db/
-p 8008:8008
ghcr.io/serge-chat/serge:latest؟ إنشاء عامل ميناء:
services :
serge :
image : ghcr.io/serge-chat/serge:latest
container_name : serge
restart : unless-stopped
ports :
- 8008:8008
volumes :
- weights:/usr/src/app/weights
- datadb:/data/db/
volumes :
weights :
datadb :بعد ذلك، ما عليك سوى زيارة http://localhost:8008، ويمكنك العثور على وثائق API على http://localhost:8008/api/docs
تتوفر متغيرات البيئة التالية:
| اسم متغير | وصف | القيمة الافتراضية |
|---|---|---|
SERGE_DATABASE_URL | سلسلة اتصال قاعدة البيانات | sqlite:////data/db/sql_app.db |
SERGE_JWT_SECRET | مفتاح تشفير رمز المصادقة. استخدم سلسلة عشوائية | uF7FGN5uzfGdFiPzR |
SERGE_SESSION_EXPIRY | المدة بالدقائق قبل أن يقوم المستخدم بإعادة المصادقة | 60 |
NODE_ENV | بيئة تشغيل Node.js | production |
تأكد من تثبيت Docker Desktop، وتكوين WSL2، وذاكرة الوصول العشوائي المجانية الكافية لتشغيل النماذج.
يمكن العثور على تعليمات إعداد Serge على Kubernetes في الويكي.
| فئة | نماذج |
|---|---|
| ألفريد | 40ب-1023 |
| بيوميسترال | 7 ب |
| شفرة | 13ب، 33ب |
| CodeLLAMA | 7B، 7B-Instruct، 7B-Python، 13B، 13B-Instruct، 13B-Python، 34B، 34B-Instruct، 34B-Python |
| كودسترال | 22B v0.1 |
| جيما | 2ب، 1.1-2ب-إرشاد، 7ب، 1.1-7ب-إرشاد، 2-9ب، 2-9ب-إرشاد، 2-27ب، 2-27ب-إرشاد |
| غوريلا | Falcon-7B-HF-v0، 7B-HF-v1، Openfunctions-v1، Openfunctions-v2 |
| فالكون | 7ب، 7ب-إرشاد، 11ب، 40ب، 40ب-إرشاد |
| لاما 2 | 7B، 7B-دردشة، 7B-Coder، 13B، 13B-دردشة، 70B، 70B-دردشة، 70B-OASST |
| لاما 3 | 11ب-إرشاد، 13ب-إرشاد، 16ب-إرشاد |
| لاما برو | 8ب، 8ب-إرشاد |
| ماثسترال | 7 ب |
| ميد42 | 70ب، الإصدار 2-8ب، الإصدار 2-70ب |
| ميدالباكا | 13 ب |
| الدواء | الدردشة، ماجستير |
| ميديترون | 7ب، 7ب-دردشة، 70ب، 3-8ب |
| ميتا لاما-3 | 3-8ب، 3.1-8ب، 3.2-1ب-إرشاد، 3-8ب-إرشاد، 3.1-8ب-إرشاد، 3.2-3ب-إرشاد، 3-70ب، 3.1-70ب، 3-70ب-إرشاد، 3.1-70ب- إرشاد |
| ميسترال | 7B-V0.1، 7B-Instruct-v0.2، 7B-OpenOrca، Nemo-Instruct |
| ميسترال لايت | 7 ب |
| ميكسترال | 8x7B-v0.1، 8x7B-دولفين-2.7، 8x7B-Instruct-v0.1 |
| الدردشة العصبية | 7B-v3.3 |
| نوتوس | 7B-v1 |
| نوتوكس | 8x7b-v1 |
| نوس هيرميس 2 | ميسترال-7B-DPO، ميكسترال-8x7B-DPO، ميسترال-8x7B-SFT |
| دردشة مفتوحة | 7B-v3.5-1210؟ 8B-v3.6-20240522 |
| OpenCodeInterpreter | DS-6.7B، DS-33B، CL-7B، CL-13B، CL-70B |
| OpenLLaMA | 3B-v2، 7B-v2، 13B-v2 |
| أوركا 2 | 7 ب، 13 ب |
| فاي | 2-2.7B، 3-mini-4k-instruct، 3.1-mini-4k-instruct، 3.1-mini-128k-instruct، 3.5-mini-instruct، 3-medium-4k-instruct، 3-medium-128k-instruct |
| كود بايثون | 13ب، 33ب |
| PsyMedRP | 13B-v1، 20B-v1 |
| ستارلينج إل إم | 7ب-ألفا |
| الطاقة الشمسية | 10.7B-v1.0، 10.7B-instruct-v1.0 |
| TinyLlama | 1.1 ب |
| فيكونا | 7B-v1.5، 13B-v1.5، 33B-v1.3، 33B-Coder |
| معالجLM | 2-7B، 13B-v1.2، 70B-v1.0 |
| زفير | 3ب، 7ب-ألفا، 7ب-بيتا |
يمكن طلب نماذج إضافية عن طريق فتح مشكلة GitHub. تتوفر نماذج أخرى أيضًا في Serge Models.
سوف يتعطل LLaMA إذا لم يكن لديك ذاكرة كافية متاحة للنموذج
بحاجة الى مساعدة؟ انضم إلى خلافنا
ناثان سارازين والمساهمين. Serge هو برنامج مجاني ومفتوح المصدر مرخص بموجب ترخيص MIT وApache-2.0.
إذا اكتشفت خطأ ما أو كانت لديك فكرة لميزة ما، فلا تتردد في فتح قضية أو علاقات عامة.
لتشغيل Serge في وضع التطوير:
git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --buildسيقبل الحل جلسة مصحح أخطاء python على المنفذ 5678. مثال على Launch.json لـ VSCode:
{
"version" : " 0.2.0 " ,
"configurations" : [
{
"name" : " Remote Debug " ,
"type" : " python " ,
"request" : " attach " ,
"connect" : {
"host" : " localhost " ,
"port" : 5678
},
"pathMappings" : [
{
"localRoot" : " ${workspaceFolder}/api " ,
"remoteRoot" : " /usr/src/app/api/ "
}
],
"justMyCode" : false
}
]
}
