fireside chat

Charla junto a la chimenea

(anterior "Chat con velas")

¡Una interfaz LLM implementada en Rust puro usando HuggingFace/Candle sobre Axum Websockets, una base de datos SQLite y una interfaz Leptos (Wasm) empaquetada con Tauri!

Mira el vídeo de introducción:

Objetivos

Este proyecto está diseñado para chat de uno o varios usuarios con muchos modelos de lenguajes grandes (LLM).

Características

• Backend de inferencia local o remota
• Base de datos SQLite local o remota

Configuración / Operación

Puede configurar su modelo y los ajustes de inferencia predeterminados colocando archivos en su Config Directory . Esto se configura automáticamente cuando eliges un modelo en la interfaz, pero puedes agregar modelos manualmente si lo deseas.

Ejemplo:

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

Si load_context: true entonces puedes agregar (pequeño) en <Config Directory>/fireside-chat/context/ . Los archivos grandes pueden provocar errores de falta de memoria.

Directorios

Config Directory es $HOME/.config/fireside-chat

Config Directory es $HOME/.cache/hugging-face

Desarrollo

Puede compilar con la variable de entorno FIRESIDE_BACKEND_URL y FIRESIDE_DATABASE_URL para llamar a un servidor que no sea localhost .

Esto se puede configurar en tauri.conf.json o en el entorno de su sistema.

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

Limitaciones

• No estoy probando en entornos Windows.