serge

Serge – LLaMA leicht gemacht?

Serge ist eine mit llama.cpp erstellte Chat-Schnittstelle zum Ausführen von GGUF-Modellen. Keine API-Schlüssel, komplett selbst gehostet!

• SvelteKit- Frontend
• ? Redis zum Speichern des Chatverlaufs und der Parameter
• FastAPI + LangChain für die API, das Aufrufe von llama.cpp mithilfe der Python-Bindungen umschließt

? Demo:

demo.webm

⚡️ Schnellstart

? Docker:

docker run -d 
    --name serge 
    -v weights:/usr/src/app/weights 
    -v datadb:/data/db/ 
    -p 8008:8008 
    ghcr.io/serge-chat/serge:latest

? Docker Compose:

 services :
  serge :
    image : ghcr.io/serge-chat/serge:latest
    container_name : serge
    restart : unless-stopped
    ports :
      - 8008:8008
    volumes :
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes :
  weights :
  datadb :

Besuchen Sie dann einfach http://localhost:8008. Die API-Dokumentation finden Sie unter http://localhost:8008/api/docs

? Umgebungsvariablen

Die folgenden Umgebungsvariablen sind verfügbar:

Variablenname	Beschreibung	Standardwert
SERGE_DATABASE_URL	Datenbankverbindungszeichenfolge	sqlite:////data/db/sql_app.db
SERGE_JWT_SECRET	Schlüssel für die Verschlüsselung des Authentifizierungstokens. Verwenden Sie eine zufällige Zeichenfolge	uF7FGN5uzfGdFiPzR
SERGE_SESSION_EXPIRY	Dauer in Minuten, bevor sich ein Benutzer erneut authentifizieren muss	60
NODE_ENV	Node.js-Laufumgebung	production

Windows

Stellen Sie sicher, dass Docker Desktop installiert, WSL2 konfiguriert und genügend freier RAM zum Ausführen von Modellen vorhanden ist.

☁️ Kubernetes

Anweisungen zum Einrichten von Serge auf Kubernetes finden Sie im Wiki.

? Unterstützte Modelle

Kategorie	Modelle
Alfred	40B-1023
BioMistral	7B
Code	13B, 33B
CodeLLaMA	7B, 7B-Instruct, 7B-Python, 13B, 13B-Instruct, 13B-Python, 34B, 34B-Instruct, 34B-Python
Codestral	22B v0.1
Gemma	2B, 1.1-2B-Unterweisung, 7B, 1.1-7B-Unterweisung, 2-9B, 2-9B-Unterweisung, 2-27B, 2-27B-Unterweisung
Gorilla	Falcon-7B-HF-v0, 7B-HF-v1, Openfunctions-v1, Openfunctions-v2
Falke	7B, 7B-Unterweisung, 11B, 40B, 40B-Unterweisung
LLaMA 2	7B, 7B-Chat, 7B-Coder, 13B, 13B-Chat, 70B, 70B-Chat, 70B-OASST
LLaMA 3	11B-Unterweisung, 13B-Unterweisung, 16B-Unterweisung
LLaMA Pro	8B, 8B-Anleitung
Mathstral	7B
Med42	70B, v2-8B, v2-70B
Medalpaca	13B
Medizin	Chat, LLM
Meditron	7B, 7B-Chat, 70B, 3-8B
Meta-LlaMA-3	3-8B, 3.1-8B, 3.2-1B-Unterweisung, 3-8B-Unterweisung, 3.1-8B-Unterweisung, 3.2-3B-Unterweisung, 3-70B, 3.1-70B, 3-70B-Unterweisung, 3.1-70B- Anweisen
Mistral	7B-V0.1, 7B-Instruct-v0.2, 7B-OpenOrca, Nemo-Instruct
MistralLite	7B
Mixtral	8x7B-v0.1, 8x7B-Dolphin-2.7, 8x7B-Instruct-v0.1
Neuronaler Chat	7B-v3.3
Notus	7B-v1
Notux	8x7b-v1
Nous-Hermes 2	Mistral-7B-DPO, Mixtral-8x7B-DPO, Mistral-8x7B-SFT
OpenChat	7B-v3.5-1210? 8B-v3.6-20240522
OpenCodeInterpreter	DS-6.7B, DS-33B, CL-7B, CL-13B, CL-70B
OpenLLaMA	3B-v2, 7B-v2, 13B-v2
Orca 2	7B, 13B
Phi	2-2.7B, 3-Mini-4K-Anweisung, 3.1-Mini-4K-Anweisung, 3.1-Mini-128K-Anweisung, 3.5-Mini-Anweisung, 3-Medium-4K-Anweisung, 3-Medium-128K-Anweisung
Python-Code	13B, 33B
PsyMedRP	13B-v1, 20B-v1
Starling LM	7B-Alpha
SOLAR	10.7B-v1.0, 10.7B-instruct-v1.0
TinyLlama	1.1B
Vicuna	7B-v1.5, 13B-v1.5, 33B-v1.3, 33B-Coder
WizardLM	2-7B, 13B-v1.2, 70B-v1.0
Zephyr	3B, 7B-Alpha, 7B-Beta

Zusätzliche Modelle können durch Öffnen einer GitHub-Ausgabe angefordert werden. Weitere Modelle sind auch bei Serge Models erhältlich.

️ Speichernutzung

LLaMA stürzt ab, wenn nicht genügend Speicher für das Modell verfügbar ist

Unterstützung

Brauchen Sie Hilfe? Treten Sie unserem Discord bei

? Lizenz

Nathan Sarrazin und Mitwirkende. Serge ist eine kostenlose Open-Source-Software, die unter der MIT-Lizenz und Apache-2.0 lizenziert ist.

? Mitwirken

Wenn Sie einen Fehler entdecken oder eine Idee für eine Funktion haben, können Sie gerne ein Problem oder eine PR eröffnen.

So führen Sie Serge im Entwicklungsmodus aus:

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

Die Lösung akzeptiert eine Python-Debugger-Sitzung auf Port 5678. Beispiel launch.json für VSCode:

{
    "version" : " 0.2.0 " ,
    "configurations" : [
        {
            "name" : " Remote Debug " ,
            "type" : " python " ,
            "request" : " attach " ,
            "connect" : {
                "host" : " localhost " ,
                "port" : 5678
            },
            "pathMappings" : [
                {
                    "localRoot" : " ${workspaceFolder}/api " ,
                    "remoteRoot" : " /usr/src/app/api/ "
                }
            ],
            "justMyCode" : false
        }
    ]
}