serge
0.9.0 - Updates to dependencies and UI fixes
Serge เป็นอินเทอร์เฟซการแชทที่สร้างขึ้นด้วย llama.cpp สำหรับการเรียกใช้โมเดล GGUF ไม่มีคีย์ API โฮสต์เองทั้งหมด!
- การสาธิต:
- นักเทียบท่า:
docker run -d
--name serge
-v weights:/usr/src/app/weights
-v datadb:/data/db/
-p 8008:8008
ghcr.io/serge-chat/serge:latest- นักเทียบท่าเขียน:
services :
serge :
image : ghcr.io/serge-chat/serge:latest
container_name : serge
restart : unless-stopped
ports :
- 8008:8008
volumes :
- weights:/usr/src/app/weights
- datadb:/data/db/
volumes :
weights :
datadb :จากนั้น เพียงไปที่ http://localhost:8008 คุณสามารถค้นหาเอกสาร API ได้ที่ http://localhost:8008/api/docs
มีตัวแปรสภาพแวดล้อมต่อไปนี้:
| ชื่อตัวแปร | คำอธิบาย | ค่าเริ่มต้น |
|---|---|---|
SERGE_DATABASE_URL | สตริงการเชื่อมต่อฐานข้อมูล | sqlite:////data/db/sql_app.db |
SERGE_JWT_SECRET | คีย์สำหรับการเข้ารหัสโทเค็นการตรวจสอบสิทธิ์ ใช้สตริงสุ่ม | uF7FGN5uzfGdFiPzR |
SERGE_SESSION_EXPIRY | ระยะเวลาเป็นนาทีก่อนที่ผู้ใช้จะต้องตรวจสอบสิทธิ์อีกครั้ง | 60 |
NODE_ENV | สภาพแวดล้อมการทำงานของ Node.js | production |
ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง Docker Desktop, กำหนดค่า WSL2 และมี RAM ว่างเพียงพอที่จะใช้งานโมเดลต่างๆ
คำแนะนำในการตั้งค่า Serge บน Kubernetes สามารถพบได้ในวิกิ
| หมวดหมู่ | โมเดล |
|---|---|
| อัลเฟรด | 40B-1023 |
| ไบโอมิสทรัล | 7B |
| รหัส | 13B, 33B |
| รหัสLLaMA | 7B, 7B-สั่ง, 7B-หลาม, 13B, 13B-สั่ง, 13B-หลาม, 34B, 34B-สั่ง, 34B-หลาม |
| โคสเตรล | 22B เวอร์ชัน 0.1 |
| เจมม่า | 2B, 1.1-2B-สั่งสอน, 7B, 1.1-7B-สั่งสอน, 2-9B, 2-9B-สั่งสอน, 2-27B, 2-27B-สั่งสอน |
| กอริลลา | เหยี่ยว-7B-HF-v0, 7B-HF-v1, Openfunctions-v1, Openfunctions-v2 |
| เหยี่ยว | 7B, 7B-สั่งสอน, 11B, 40B, 40B-สั่งสอน |
| ลามา2 | 7B, 7B-แชท, 7B-Coder, 13B, 13B-แชท, 70B, 70B-แชท, 70B-OASST |
| ลามา 3 | 11B-สั่งสอน 13B-สั่งสอน 16B-สั่งสอน |
| ลามา โปร | 8B, 8B-คำสั่ง |
| แมทสตรัล | 7B |
| เมด42 | 70B, v2-8B, v2-70B |
| เมดัลปาก้า | 13B |
| ยา | แชท, แอลแอลเอ็ม |
| เมดิตรอน | 7B, 7B-แชท, 70B, 3-8B |
| เมตา-ลามา-3 | 3-8B, 3.1-8B, 3.2-1B-สั่งสอน, 3-8B-สั่งสอน, 3.1-8B-สั่งสอน, 3.2-3B-สั่งสอน, 3-70B, 3.1-70B, 3-70B-สั่งสอน, 3.1-70B- สั่งสอน |
| มิสทรัล | 7B-V0.1, 7B-Instruct-v0.2, 7B-OpenOrca, Nemo-สอน |
| มิสทรัลไลท์ | 7B |
| มิกซ์ทรัล | 8x7B-v0.1, 8x7B-Dolphin-2.7, 8x7B-Instruct-v0.1 |
| ประสาทแชท | 7B-v3.3 |
| หมายเหตุ | 7B-v1 |
| โนทักซ์ | 8x7b-v1 |
| นูส-แอร์เมส 2 | มิสทรัล-7B-DPO, มิกซ์ทรัล-8x7B-DPO, มิสทรัล-8x7B-SFT |
| โอเพนแชท | 7B-v3.5-1210? 8B-v3.6-20240522 |
| OpenCodeล่าม | DS-6.7B, DS-33B, CL-7B, CL-13B, CL-70B |
| OpenLLaMA | 3B-v2, 7B-v2, 13B-v2 |
| ออร์ก้า 2 | 7B, 13B |
| พี่ | 2-2.7B, 3-mini-4k-instruct, 3.1-mini-4k-instruct, 3.1-mini-128k-instruct, 3.5-mini-instruct, 3-medium-4k-instruct, 3-medium-128k-instruct |
| รหัสหลาม | 13B, 33B |
| PsyMedRP | 13B-v1, 20B-v1 |
| สตาร์ลิ่ง แอล.เอ็ม | 7B-อัลฟ่า |
| พลังงานแสงอาทิตย์ | 10.7B-v1.0, 10.7B-คำสั่ง-v1.0 |
| จิ๋วลามะ | 1.1B |
| วิคูน่า | 7B-v1.5, 13B-v1.5, 33B-v1.3, 33B-Coder |
| ตัวช่วยสร้างLM | 2-7B, 13B-v1.2, 70B-v1.0 |
| เซเฟอร์ | 3B, 7B-อัลฟา, 7B-เบต้า |
สามารถขอโมเดลเพิ่มเติมได้โดยการเปิดปัญหา GitHub รุ่นอื่นๆ มีจำหน่ายที่ Serge Models เช่นกัน
LLaMA จะขัดข้องหากคุณมีหน่วยความจำไม่เพียงพอสำหรับโมเดลดังกล่าว
ต้องการความช่วยเหลือ? เข้าร่วม Discord ของเรา
นาธาน ซาราซิน และผู้มีส่วนร่วม Serge เป็นซอฟต์แวร์โอเพ่นซอร์สฟรีที่ได้รับอนุญาตภายใต้ใบอนุญาต MIT และ Apache-2.0
หากคุณค้นพบจุดบกพร่องหรือมีแนวคิดเกี่ยวกับคุณลักษณะ โปรดอย่าลังเลที่จะเปิดประเด็นหรือประชาสัมพันธ์
วิธีรัน Serge ในโหมดการพัฒนา:
git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --buildโซลูชันจะยอมรับเซสชันดีบักเกอร์หลามบนพอร์ต 5678 ตัวอย่าง launch.json สำหรับ VSCode:
{
"version" : " 0.2.0 " ,
"configurations" : [
{
"name" : " Remote Debug " ,
"type" : " python " ,
"request" : " attach " ,
"connect" : {
"host" : " localhost " ,
"port" : 5678
},
"pathMappings" : [
{
"localRoot" : " ${workspaceFolder}/api " ,
"remoteRoot" : " /usr/src/app/api/ "
}
],
"justMyCode" : false
}
]
}
