fireside chat

炉端でのチャット

（旧「キャンドルチャット」）

Axum Websocket、SQLite データベース、および Tauri にパッケージ化された Leptos (Wasm) フロントエンド上の HuggingFace/Candle を使用して、純粋な Rust で実装された LLM インターフェイス。

紹介ビデオをご覧ください:

目標

このプロジェクトは、多くの大規模言語モデル (LLM) を使用したシングルおよびマルチユーザー チャット用に設計されています。

特徴

• ローカルまたはリモート推論バックエンド
• ローカルまたはリモートの SQLite データベース

設定・操作

ファイルをConfig Directoryに置くことで、モデルとデフォルトの推論設定を構成できます。これは、フロントエンドでモデルを選択すると自動的に構成されますが、必要に応じてモデルを手動で追加することもできます。

例：

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

load_context: trueの場合、 <Config Directory>/fireside-chat/context/に (small) を追加できます。大きなファイルはメモリ不足エラーを引き起こす可能性があります。

ディレクトリ

Config Directory $HOME/.config/fireside-chatです

Config Directory $HOME/.cache/hugging-faceです

発達

環境変数FIRESIDE_BACKEND_URLおよびFIRESIDE_DATABASE_URLを使用してコンパイルして、 localhost以外のサーバーを呼び出すことができます。

これは、 tauri.conf.jsonまたはシステム環境で構成できます。

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

制限事項

• Windows 環境ではテストしていません。