fireside chat

Bate-papo ao lado da lareira

(anterior. "Bate-papo de velas")

Uma interface LLM implementada em Rust puro usando HuggingFace/Candle sobre Axum Websockets, um banco de dados SQLite e um frontend Leptos (Wasm) empacotado com Tauri!

Assista ao vídeo de introdução:

Metas

Este projeto foi projetado para bate-papo individual e multiusuário com muitos Large Language Models (LLMs).

Características

• Back-end de inferência local ou remota
• Banco de dados SQLite local ou remoto

Configuração/Operação

Você pode definir seu modelo e configurações de inferência padrão colocando arquivos em seu Config Directory . Isso é configurado automaticamente quando você escolhe um modelo no frontend, mas você pode adicionar modelos manualmente, se desejar.

Exemplo:

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

Se load_context: true então você pode adicionar (small) em <Config Directory>/fireside-chat/context/ . Arquivos grandes podem causar erros de falta de memória.

Diretórios

Config Directory é $HOME/.config/fireside-chat

Config Directory é $HOME/.cache/hugging-face

Desenvolvimento

Você pode compilar com a variável de ambiente FIRESIDE_BACKEND_URL e FIRESIDE_DATABASE_URL para chamar um servidor diferente de localhost .

Isso pode ser configurado em tauri.conf.json ou no ambiente do seu sistema.

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

Limitações

• Não estou testando em ambientes Windows.