serge

Серж - LLaMA стало проще?

Serge — это интерфейс чата, созданный с помощью llama.cpp для запуска моделей GGUF. Никаких ключей API, полностью самостоятельное размещение!

• Интерфейс SvelteKit
• ? Redis для хранения истории и параметров чата
• FastAPI + LangChain для API, упаковка вызовов llama.cpp с использованием привязок Python

? Демо:

demo.webm

⚡️ Быстрый старт

? Докер:

docker run -d 
    --name serge 
    -v weights:/usr/src/app/weights 
    -v datadb:/data/db/ 
    -p 8008:8008 
    ghcr.io/serge-chat/serge:latest

? Докер

 services :
  serge :
    image : ghcr.io/serge-chat/serge:latest
    container_name : serge
    restart : unless-stopped
    ports :
      - 8008:8008
    volumes :
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes :
  weights :
  datadb :

Затем просто посетите http://localhost:8008. Документацию по API можно найти по адресу http://localhost:8008/api/docs.

? Переменные среды

Доступны следующие переменные среды:

Имя переменной	Описание	Значение по умолчанию
SERGE_DATABASE_URL	Строка подключения к базе данных	sqlite:////data/db/sql_app.db
SERGE_JWT_SECRET	Ключ для шифрования токена авторизации. Используйте случайную строку	uF7FGN5uzfGdFiPzR
SERGE_SESSION_EXPIRY	Продолжительность в минутах, прежде чем пользователь должен будет пройти повторную аутентификацию	60
NODE_ENV	Рабочая среда Node.js	production

Окна

Убедитесь, что у вас установлен Docker Desktop, настроен WSL2 и достаточно свободной оперативной памяти для запуска моделей.

☁️ Кубернетес

Инструкции по настройке Serge в Kubernetes можно найти в вики.

? Поддерживаемые модели

Категория	Модели
Альфред	40Б-1023
БиоМистраль	7Б
Код	13Б, ​​33Б
КодLLaMA	7B, 7B-Инструкция, 7B-Python, 13B, 13B-Инструкция, 13B-Python, 34B, 34B-Инструкция, 34B-Python
Кодестрал	22Б v0.1
Джемма	2B, 1.1-2B-Инструктирует, 7B, 1.1-7B-Инструктирует, 2-9B, 2-9B-Инструктирует, 2-27B, 2-27B-Инструктирует
Горилла	Falcon-7B-HF-v0, 7B-HF-v1, Открытые функции-v1, Открытые функции-v2
Сокол	7B, 7B-Инструктировать, 11B, 40B, 40B-Инструктировать
ЛЛАМА 2	7B, 7B-Чат, 7B-Кодер, 13B, 13B-Чат, 70B, 70B-Чат, 70B-OASST
ЛЛАМА 3	11B-Инструкция, 13B-Инструкция, 16B-Инструкция
ЛЛаМА Про	8Б, 8Б-Инструктировать
Матстрал	7Б
Мед42	70Б, в2-8Б, в2-70Б
Медальпака	13Б
Лекарство	Чат, LLM
Медитрон	7Б, 7Б-Чат, 70Б, 3-8Б
Мета-ЛлаМА-3	3-8B, 3.1-8B, 3.2-1B-Инструктирует, 3-8B-Инструктирует, 3.1-8B-Инструктирует, 3.2-3B-Инструктирует, 3-70B, 3.1-70B, 3-70B-Инструктирует, 3.1-70B- Инструктировать
Мистраль	7B-V0.1, 7B-Instruct-v0.2, 7B-OpenOrca, Nemo-Instruct
МистральЛайт	7Б
Микстрал	8x7B-v0.1, 8x7B-Дельфин-2.7, 8x7B-Инструкт-v0.1
Нейрон-Чат	7Б-v3.3
Нотус	7Б-в1
Нотукс	8x7b-v1
Ноус-Гермес 2	Мистраль-7Б-ДПО, Микстраль-8х7Б-ДПО, Мистраль-8х7Б-СФТ
Открытый чат	7Б-v3.5-1210? 8Б-v3.6-20240522
Интерпретатор OpenCode	ДС-6.7Б, ДС-33Б, КЛ-7Б, КЛ-13Б, КЛ-70Б
OpenLLaMA	3Б-в2, 7Б-в2, 13Б-в2
Орка 2	7Б, 13Б
Фи	2-2.7B, 3-мини-4k-инструкция, 3,1-мини-4k-инструкция, 3,1-мини-128k-инструкция, 3,5-мини-инструкция, 3-средняя-4k-инструкция, 3-средняя-128k-инструкция
Код Python	13Б, ​​33Б
ПсиМедРП	13Б-в1, 20Б-в1
Старлинг ЛМ	7Б-Альфа
СОЛНЕЧНАЯ	10.7B-v1.0, 10.7B-инструкция-v1.0
КрошечныйЛама	1.1Б
Викунья	7B-v1.5, 13B-v1.5, 33B-v1.3, 33B-Кодер
МастерLM	2-7Б, 13Б-v1.2, 70Б-v1.0
Зефир	3Б, 7Б-Альфа, 7Б-Бета

Дополнительные модели можно запросить, открыв выпуск GitHub. Другие модели также доступны в Serge Models.

️ Использование памяти

LLaMA выйдет из строя, если у вас недостаточно доступной памяти для модели.

Поддерживать

Нужна помощь? Присоединяйтесь к нашему Discord

? Лицензия

Натан Сарразин и участники. Serge — бесплатное программное обеспечение с открытым исходным кодом, лицензированное по лицензии MIT и Apache-2.0.

? Содействие

Если вы обнаружите ошибку или у вас есть идея по поводу функции, не стесняйтесь открыть проблему или написать сообщение.

Чтобы запустить Serge в режиме разработки:

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

Решение примет сеанс отладчика Python через порт 5678. Пример файла launch.json для VSCode:

{
    "version" : " 0.2.0 " ,
    "configurations" : [
        {
            "name" : " Remote Debug " ,
            "type" : " python " ,
            "request" : " attach " ,
            "connect" : {
                "host" : " localhost " ,
                "port" : 5678
            },
            "pathMappings" : [
                {
                    "localRoot" : " ${workspaceFolder}/api " ,
                    "remoteRoot" : " /usr/src/app/api/ "
                }
            ],
            "justMyCode" : false
        }
    ]
}