serge
0.9.0 - Updates to dependencies and UI fixes
Serge 是一個用 llama.cpp 製作的聊天介面，用於運行 GGUF 模型。沒有 API 金鑰，完全自架！
？演示：
？碼頭工人：
docker run -d
--name serge
-v weights:/usr/src/app/weights
-v datadb:/data/db/
-p 8008:8008
ghcr.io/serge-chat/serge:latest？碼頭工人組成：
services :
serge :
image : ghcr.io/serge-chat/serge:latest
container_name : serge
restart : unless-stopped
ports :
- 8008:8008
volumes :
- weights:/usr/src/app/weights
- datadb:/data/db/
volumes :
weights :
datadb :然後，只需訪問 http://localhost:8008，您就可以在 http://localhost:8008/api/docs 找到 API 文檔
以下環境變數可用：
| 變數名 | 描述 | 預設值 |
|---|---|---|
SERGE_DATABASE_URL | 資料庫連接字串 | sqlite:////data/db/sql_app.db |
SERGE_JWT_SECRET | 身份驗證令牌加密的金鑰。使用隨機字串 | uF7FGN5uzfGdFiPzR |
SERGE_SESSION_EXPIRY | 使用者必須重新進行身份驗證之前的持續時間（以分鐘為單位） | 60 |
NODE_ENV | Node.js運行環境 | production |
確保已安裝 Docker Desktop、配置 WSL2 以及足夠的可用 RAM 來運行模型。
有關在 Kubernetes 上設定 Serge 的說明可以在 wiki 中找到。
| 類別 | 型號 |
|---|---|
| 阿爾弗雷德 | 40B-1023 |
| 生物米斯特拉爾 | 7B |
| 程式碼 | 13B、33B |
| 程式碼駱駝 | 7B、7B-指令、7B-Python、13B、13B-指令、13B-Python、34B、34B-指令、34B-Python |
| 共譜 | 22B v0.1 |
| 芽 | 2B、1.1-2B-指示、7B、1.1-7B-指示、2-9B、2-9B-指示、2-27B、2-27B-指示 |
| 大猩猩 | Falcon-7B-HF-v0、7B-HF-v1、Openfunctions-v1、Openfunctions-v2 |
| 鷸 | 7B、7B-指示、11B、40B、40B-指示 |
| 美洲駝2 | 7B、7B-聊天、7B-編碼器、13B、13B-聊天、70B、70B-聊天、70B-OASST |
| 美洲駝3 | 11B-指示、13B-指示、16B-指示 |
| 駱駝專業版 | 8B，8B-指示 |
| 數學斯特拉爾 | 7B |
| 醫學42 | 70B、v2-8B、v2-70B |
| 勳章 | 13B |
| 藥物 | 聊天，法學碩士 |
| 麥迪康 | 7B、7B-聊天、70B、3-8B |
| 元LlaMA-3 | 3-8B、3.1-8B、3.2-1B-指示、3-8B-指示、3.1-8B-指示、3.2-3B-指示、3-70B、3.1-70B、3-70B-指示、3.1-70B-指示 |
| 米斯特拉爾 | 7B-V0.1、7B-Instruct-v0.2、7B-OpenOrca、Nemo-Instruct |
| 米斯特拉爾精簡版 | 7B |
| 混合 | 8x7B-v0.1、8x7B-Dolphin-2.7、8x7B-Instruct-v0.1 |
| 神經聊天 | 7B-v3.3 |
| 諾圖斯 | 7B-v1 |
| 諾克斯 | 8x7b-v1 |
| 我們的赫爾墨斯 2 | Mistral-7B-DPO、Mixtral-8x7B-DPO、Mistral-8x7B-SFT |
| 開放聊天 | 7B-v3.5-1210？ 8B-v3.6-20240522 |
| 開放代碼解釋器 | DS-6.7B、DS-33B、CL-7B、CL-13B、CL-70B |
| 開放駱駝 | 3B-v2、7B-v2、13B-v2 |
| 虎鯨2號 | 7B、13B |
| 披 | 2-2.7B、3-迷你-4k-指令、3.1-迷你-4k-指令、3.1-迷你-128k-指令、3.5-迷你-指令、3-中-4k-指令、3-中-128k-指令 |
| Python程式碼 | 13B、33B |
| 心理醫學RP | 13B-v1、20B-v1 |
| 椋鳥LM | 7B-阿爾法 |
| 太陽的 | 10.7B-v1.0、10.7B-指令-v1.0 |
| 小羊駝 | 1.1B |
| 駱駝毛 | 7B-v1.5、13B-v1.5、33B-v1.3、33B-編碼器 |
| 嚮導LM | 2-7B、13B-v1.2、70B-v1.0 |
| 和風 | 3B、7B-阿爾法、7B-貝塔 |
可以透過開啟 GitHub 問題來請求其他模型。 Serge Models 也提供其他型號。
如果模型沒有足夠的可用內存，LLaMA 將會崩潰
需要幫助嗎？加入我們的不和諧
內森·扎拉青和貢獻者。 Serge是根據 MIT 授權和 Apache-2.0 授權的免費開源軟體。
如果您發現錯誤或有功能想法，請隨時提出問題或 PR。
要在開發模式下運行 Serge：
git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build此解決方案將接受連接埠 5678 上的 python 偵錯器會話。
{
"version" : " 0.2.0 " ,
"configurations" : [
{
"name" : " Remote Debug " ,
"type" : " python " ,
"request" : " attach " ,
"connect" : {
"host" : " localhost " ,
"port" : 5678
},
"pathMappings" : [
{
"localRoot" : " ${workspaceFolder}/api " ,
"remoteRoot" : " /usr/src/app/api/ "
}
],
"justMyCode" : false
}
]
}
