serge下载 - serge源码下载

serge

Python

0.9.0 - Updates to dependencies and UI fixes

下载

Serge-LLaMA 变得容易吗？

Serge 是一个用 llama.cpp 制作的聊天界面，用于运行 GGUF 模型。没有 API 密钥，完全自托管！

SvelteKit前端
？ Redis用于存储聊天记录和参数
FastAPI + LangChain用于 API，使用 python 绑定包装对 llama.cpp 的调用

？演示：

演示.webm

⚡️快速开始

？码头工人：

docker run -d 
    --name serge 
    -v weights:/usr/src/app/weights 
    -v datadb:/data/db/ 
    -p 8008:8008 
    ghcr.io/serge-chat/serge:latest

？码头工人组成：

 services :
  serge :
    image : ghcr.io/serge-chat/serge:latest
    container_name : serge
    restart : unless-stopped
    ports :
      - 8008:8008
    volumes :
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes :
  weights :
  datadb :

然后，只需访问 http://localhost:8008，您就可以在 http://localhost:8008/api/docs 找到 API 文档

？环境变量

以下环境变量可用：

变量名	描述	默认值
`SERGE_DATABASE_URL`	数据库连接字符串	`sqlite:////data/db/sql_app.db`
`SERGE_JWT_SECRET`	身份验证令牌加密的密钥。使用随机字符串	`uF7FGN5uzfGdFiPzR`
`SERGE_SESSION_EXPIRY`	用户必须重新进行身份验证之前的持续时间（以分钟为单位）	`60`
`NODE_ENV`	Node.js运行环境	`production`

视窗

确保安装了 Docker Desktop、配置了 WSL2 以及足够的可用 RAM 来运行模型。

☁️ 库伯内特斯

有关在 Kubernetes 上设置 Serge 的说明可以在 wiki 中找到。

？支持型号

类别	型号
阿尔弗雷德	40B-1023
生物米斯特拉尔	7B
代码	13B、33B
代码骆驼	7B、7B-指令、7B-Python、13B、13B-指令、13B-Python、34B、34B-指令、34B-Python
共谱	22B v0.1
芽	2B、1.1-2B-指示、7B、1.1-7B-指示、2-9B、2-9B-指示、2-27B、2-27B-指示
大猩猩	Falcon-7B-HF-v0、7B-HF-v1、Openfunctions-v1、Openfunctions-v2
鹘	7B、7B-指示、11B、40B、40B-指示
美洲驼2	7B、7B-聊天、7B-编码器、13B、13B-聊天、70B、70B-聊天、70B-OASST
骆驼3	11B-指示、13B-指示、16B-指示
骆驼专业版	8B，8B-指示
数学斯特拉尔	7B
医学42	70B、v2-8B、v2-70B
勋章	13B
药品	聊天，法学硕士
麦迪康	7B、7B-聊天、70B、3-8B
元LlaMA-3	3-8B、3.1-8B、3.2-1B-指示、3-8B-指示、3.1-8B-指示、3.2-3B-指示、3-70B、3.1-70B、3-70B-指示、3.1-70B-指示
米斯特拉尔	7B-V0.1、7B-Instruct-v0.2、7B-OpenOrca、Nemo-Instruct
米斯特拉尔精简版	7B
混合	8x7B-v0.1、8x7B-Dolphin-2.7、8x7B-Instruct-v0.1
神经聊天	7B-v3.3
诺图斯	7B-v1
诺克斯	8x7b-v1
我们的赫尔墨斯 2	Mistral-7B-DPO、Mixtral-8x7B-DPO、Mistral-8x7B-SFT
开放聊天	7B-v3.5-1210？ 8B-v3.6-20240522
开放代码解释器	DS-6.7B、DS-33B、CL-7B、CL-13B、CL-70B
开放骆驼	3B-v2、7B-v2、13B-v2
虎鲸2号	7B、13B
披	2-2.7B、3-迷你-4k-指令、3.1-迷你-4k-指令、3.1-迷你-128k-指令、3.5-迷你-指令、3-中-4k-指令、3-中-128k-指令
Python代码	13B、33B
心理医学RP	13B-v1、20B-v1
椋鸟LM	7B-阿尔法
太阳的	10.7B-v1.0、10.7B-指令-v1.0
小羊驼	1.1B
骆驼毛	7B-v1.5、13B-v1.5、33B-v1.3、33B-编码器
向导LM	2-7B、13B-v1.2、70B-v1.0
和风	3B、7B-阿尔法、7B-贝塔

可以通过打开 GitHub 问题来请求其他模型。 Serge Models 还提供其他型号。

️内存使用情况

如果模型没有足够的可用内存，LLaMA 将会崩溃

支持

需要帮助吗？加入我们的不和谐

？执照

内森·扎拉青和贡献者。 Serge是根据 MIT 许可证和 Apache-2.0 授权的免费开源软件。

？贡献

如果您发现错误或有功能想法，请随时提出问题或 PR。

要在开发模式下运行 Serge：

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

该解决方案将接受端口 5678 上的 python 调试器会话。VSCode 的 launch.json 示例：

{
    "version" : " 0.2.0 " ,
    "configurations" : [
        {
            "name" : " Remote Debug " ,
            "type" : " python " ,
            "request" : " attach " ,
            "connect" : {
                "host" : " localhost " ,
                "port" : 5678
            },
            "pathMappings" : [
                {
                    "localRoot" : " ${workspaceFolder}/api " ,
                    "remoteRoot" : " /usr/src/app/api/ "
                }
            ],
            "justMyCode" : false
        }
    ]
}