serge

Serge - ¿LLaMA es fácil?

Serge es una interfaz de chat diseñada con llama.cpp para ejecutar modelos GGUF. ¡Sin claves API, completamente autohospedado!

• Interfaz de SvelteKit
• ? Redis para almacenar el historial y los parámetros del chat
• FastAPI + LangChain para la API, envolviendo llamadas a llama.cpp usando los enlaces de Python

? Manifestación:

demo.webm

⚡️ Inicio rápido

? Estibador:

docker run -d 
    --name serge 
    -v weights:/usr/src/app/weights 
    -v datadb:/data/db/ 
    -p 8008:8008 
    ghcr.io/serge-chat/serge:latest

? Docker componer:

 services :
  serge :
    image : ghcr.io/serge-chat/serge:latest
    container_name : serge
    restart : unless-stopped
    ports :
      - 8008:8008
    volumes :
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes :
  weights :
  datadb :

Luego, simplemente visite http://localhost:8008. Puede encontrar la documentación de la API en http://localhost:8008/api/docs.

? Variables de entorno

Las siguientes variables de entorno están disponibles:

Nombre de la variable	Descripción	Valor predeterminado
SERGE_DATABASE_URL	Cadena de conexión de base de datos	sqlite:////data/db/sql_app.db
SERGE_JWT_SECRET	Clave para el cifrado del token de autenticación. Usa una cadena aleatoria	uF7FGN5uzfGdFiPzR
SERGE_SESSION_EXPIRY	Duración en minutos antes de que un usuario deba volver a autenticarse	60
NODE_ENV	Entorno de ejecución de Node.js	production

ventanas

Asegúrese de tener Docker Desktop instalado, WSL2 configurado y suficiente RAM libre para ejecutar modelos.

☁️Kubernetes

Las instrucciones para configurar Serge en Kubernetes se pueden encontrar en la wiki.

? Modelos compatibles

Categoría	Modelos
Alfredo	40B-1023
BioMistral	7B
Código	13B, 33B
CódigoLLaMA	7B, 7B-Instrucción, 7B-Python, 13B, 13B-Instrucción, 13B-Python, 34B, 34B-Instrucción, 34B-Python
codestral	22B v0.1
Gema	2B, 1.1-2B-Instrucción, 7B, 1.1-7B-Instrucción, 2-9B, 2-9B-Instrucción, 2-27B, 2-27B-Instrucción
Gorila	Falcon-7B-HF-v0, 7B-HF-v1, Openfunctions-v1, Openfunctions-v2
Halcón	7B, 7B-Instruir, 11B, 40B, 40B-Instruir
Llama 2	7B, 7B-Chat, 7B-Codificador, 13B, 13B-Chat, 70B, 70B-Chat, 70B-OASST
Llama 3	11B-Instruir, 13B-Instruir, 16B-Instruir
Llama Pro	8B, 8B-Instruir
matstral	7B
Med42	70B, v2-8B, v2-70B
medallapaca	13B
Medicamento	Charla, Maestría en Derecho
Meditrón	7B, 7B-Chat, 70B, 3-8B
Meta-LlaMA-3	3-8B, 3.1-8B, 3.2-1B-Instruir, 3-8B-Instruir, 3.1-8B-Instruir, 3.2-3B-Instruir, 3-70B, 3.1-70B, 3-70B-Instruir, 3.1-70B- Instruir
Mistral	7B-V0.1, 7B-Instruct-v0.2, 7B-OpenOrca, Nemo-Instruct
MistralLite	7B
Mixtral	8x7B-v0.1, 8x7B-Dolphin-2.7, 8x7B-Instruct-v0.1
Chat neuronal	7B-v3.3
notus	7B-v1
Notux	8x7b-v1
Nous-Hermes 2	Mistral-7B-DPO, Mixtral-8x7B-DPO, Mistral-8x7B-SFT
Chat abierto	7B-v3.5-1210? 8B-v3.6-20240522
Intérprete de código abierto	DS-6.7B, DS-33B, CL-7B, CL-13B, CL-70B
OpenLLaMA	3B-v2, 7B-v2, 13B-v2
Orca 2	7B, 13B
Fi	2-2.7B, 3-mini-instrucción-4k, 3.1-mini-instrucción-4k, 3.1-mini-instrucción-128k, 3.5-mini-instrucción, 3-medio-4k-instrucción, 3-medio-128k-instrucción
Código Python	13B, 33B
PsyMedRP	13B-v1, 20B-v1
Estornino LM	7B-Alfa
SOLAR	10.7B-v1.0, 10.7B-instrucciones-v1.0
TinyLlama	1.1B
Vicuña	7B-v1.5, 13B-v1.5, 33B-v1.3, codificador 33B
AsistenteLM	2-7B, 13B-v1.2, 70B-v1.0
Céfiro	3B, 7B-Alfa, 7B-Beta

Se pueden solicitar modelos adicionales abriendo una edición de GitHub. Otros modelos también están disponibles en Serge Models.

️ Uso de memoria

LLaMA fallará si no tienes suficiente memoria disponible para el modelo

Apoyo

¿Necesitar ayuda? Únete a nuestra discordia

? Licencia

Nathan Sarrazin y colaboradores. Serge es un software gratuito y de código abierto con licencia MIT y Apache-2.0.

? Contribuyendo

Si descubre un error o tiene una idea para una función, no dude en abrir un problema o una PR.

Para ejecutar Serge en modo de desarrollo:

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

La solución aceptará una sesión del depurador de Python en el puerto 5678. Ejemplo de launch.json para VSCode:

{
    "version" : " 0.2.0 " ,
    "configurations" : [
        {
            "name" : " Remote Debug " ,
            "type" : " python " ,
            "request" : " attach " ,
            "connect" : {
                "host" : " localhost " ,
                "port" : 5678
            },
            "pathMappings" : [
                {
                    "localRoot" : " ${workspaceFolder}/api " ,
                    "remoteRoot" : " /usr/src/app/api/ "
                }
            ],
            "justMyCode" : false
        }
    ]
}