fireside chat

炉边聊天

（上一页“蜡烛聊天”）

使用 HuggingFace/Candle 通过 Axum Websockets、SQLite 数据库和与 Tauri 打包的 Leptos (Wasm) 前端以纯 Rust 实现的 LLM 接口！

观看介绍视频：

目标

该项目专为与许多大型语言模型 (LLM) 进行单用户和多用户聊天而设计。

特征

• 本地或远程推理后端
• 本地或远程 SQLite 数据库

设置/操作

您可以通过将文件放入Config Directory来配置模型和默认推理设置。当您在前端选择模型时，这是自动配置的，但如果您愿意，您可以手动添加模型。

例子：

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

如果load_context: true那么您可以在<Config Directory>/fireside-chat/context/中添加（小）。大文件可能会导致内存不足错误。

目录

Config Directory是$HOME/.config/fireside-chat

Config Directory是$HOME/.cache/hugging-face

发展

您可以使用环境变量FIRESIDE_BACKEND_URL和FIRESIDE_DATABASE_URL进行编译以调用localhost以外的服务器。

这可以在tauri.conf.json或您的系统环境中配置。

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

局限性

• 我没有在 Windows 环境中进行测试。