fireside chat

Kamingespräch

(vormals „Candle Chat“)

Eine in reinem Rust implementierte LLM-Schnittstelle mit HuggingFace/Candle über Axum Websockets, einer SQLite-Datenbank und einem mit Tauri gepackten Leptos (Wasm)-Frontend!

Sehen Sie sich das Einführungsvideo an:

Ziele

Dieses Projekt ist für den Einzel- und Mehrbenutzer-Chat mit vielen Large Language Models (LLMs) konzipiert.

Merkmale

• Lokales oder Remote-Inferenz-Backend
• Lokale oder Remote-SQLite-Datenbank

Einrichtung/Bedienung

Sie können Ihr Modell und Ihre Standard-Inferenzeinstellungen konfigurieren, indem Sie Dateien in Ihrem Config Directory ablegen. Dies wird automatisch konfiguriert, wenn Sie im Frontend ein Modell auswählen. Sie können Modelle jedoch auch manuell hinzufügen, wenn Sie möchten.

Beispiel:

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

Wenn load_context: true , können Sie (small) in <Config Directory>/fireside-chat/context/ hinzufügen. Große Dateien können Fehler wegen „Nicht genügend Arbeitsspeicher“ verursachen.

Verzeichnisse

Config Directory ist $HOME/.config/fireside-chat

Config Directory ist $HOME/.cache/hugging-face

Entwicklung

Sie können mit den Umgebungsvariablen FIRESIDE_BACKEND_URL und FIRESIDE_DATABASE_URL kompilieren, um einen anderen Server als localhost aufzurufen.

Dies kann in tauri.conf.json oder in Ihrer Systemumgebung konfiguriert werden.

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

Einschränkungen

• Ich teste nicht in Windows-Umgebungen.