fireside chat

爐邊聊天

（上一頁「蠟燭聊天」）

使用 HuggingFace/Candle 透過 Axum Websockets、SQLite 資料庫和與 Tauri 打包的 Leptos (Wasm) 前端以純 Rust 實現的 LLM 介面！

觀看介紹影片：

目標

該專案專為與許多大型語言模型 (LLM) 進行單一用戶和多用戶聊天而設計。

特徵

• 本地或遠端推理後端
• 本地或遠端 SQLite 資料庫

設定/操作

您可以透過將檔案放入Config Directory來設定模型和預設推理設定。當您在前端選擇模型時，這是自動配置的，但如果您願意，您可以手動新增模型。

例子：

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

如果load_context: true那麼您可以在<Config Directory>/fireside-chat/context/中新增（小）。大檔案可能會導致記憶體不足錯誤。

目錄

Config Directory是$HOME/.config/fireside-chat

Config Directory是$HOME/.cache/hugging-face

發展

您可以使用環境變數FIRESIDE_BACKEND_URL和FIRESIDE_DATABASE_URL進行編譯以呼叫localhost以外的伺服器。

這可以在tauri.conf.json或您的系統環境中配置。

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

限制

• 我沒有在 Windows 環境中進行測試。