fireside chat

Discussion au coin du feu

(précédent "Candle Chat")

Une interface LLM implémentée dans Rust pur en utilisant HuggingFace/Candle sur Axum Websockets, une base de données SQLite et une interface Leptos (Wasm) fournie avec Tauri !

Regardez la vidéo de présentation :

Objectifs

Ce projet est conçu pour le chat mono-utilisateur et multi-utilisateur avec de nombreux grands modèles linguistiques (LLM).

Caractéristiques

• Backend d'inférence local ou distant
• Base de données SQLite locale ou distante

Configuration / Fonctionnement

Vous pouvez configurer votre modèle et vos paramètres d'inférence par défaut en plaçant les fichiers dans votre Config Directory . Ceci est automatiquement configuré lorsque vous choisissez un modèle dans le frontend, mais vous pouvez ajouter manuellement des modèles si vous le souhaitez.

Exemple:

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

Si load_context: true alors vous pouvez ajouter (small) dans <Config Directory>/fireside-chat/context/ . Les fichiers volumineux peuvent provoquer des erreurs de mémoire insuffisante.

Annuaires

Config Directory est $HOME/.config/fireside-chat

Config Directory est $HOME/.cache/hugging-face

Développement

Vous pouvez compiler avec la variable d'environnement FIRESIDE_BACKEND_URL et FIRESIDE_DATABASE_URL pour appeler un serveur autre que localhost .

Cela peut être configuré dans tauri.conf.json ou dans votre environnement système.

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

Limites

• Je ne teste pas dans les environnements Windows.