fireside chat

Чат у камина

(ранее «Чат при свечах»)

Интерфейс LLM, реализованный на чистом Rust с использованием HuggingFace/Candle поверх веб-сокетов Axum, базы данных SQLite и внешнего интерфейса Leptos (Wasm), упакованного в Tauri!

Посмотрите ознакомительное видео:

Цели

Этот проект предназначен для одно- и многопользовательского чата со многими моделями большого языка (LLM).

Функции

• Локальный или удаленный сервер вывода
• Локальная или удаленная база данных SQLite

Настройка/Эксплуатация

Вы можете настроить свою модель и параметры вывода по умолчанию, поместив файлы в свой Config Directory . Это настраивается автоматически, когда вы выбираете модель во внешнем интерфейсе, но при желании вы можете добавлять модели вручную.

Пример:

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

Если load_context: true , вы можете добавить (маленький) в <Config Directory>/fireside-chat/context/ . Большие файлы могут вызвать ошибки «Недостаточно памяти».

Каталоги

Config Directory — $HOME/.config/fireside-chat

Config Directory — $HOME/.cache/hugging-face

Разработка

Вы можете скомпилировать переменную среды FIRESIDE_BACKEND_URL и FIRESIDE_DATABASE_URL для вызова сервера, отличного от localhost .

Это можно настроить в tauri.conf.json или в вашей системной среде.

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

Ограничения

• Я не тестирую в средах Windows.