fireside chat

Obrolan Perapian

(sebelumnya "Obrolan Lilin")

Antarmuka LLM diimplementasikan dalam Rust murni menggunakan HuggingFace/Candle over Axum Websockets, Database SQLite, dan frontend Leptos (Wasm) yang dikemas dengan Tauri!

Tonton video perkenalannya:

Sasaran

Proyek ini dirancang untuk obrolan tunggal dan multi-pengguna dengan banyak Model Bahasa Besar (LLM).

Fitur

• Backend Inferensi Lokal atau Jarak Jauh
• Database SQLite Lokal atau Jarak Jauh

Pengaturan / Pengoperasian

Anda dapat mengonfigurasi model dan pengaturan inferensi default dengan meletakkan file di Config Directory Anda. Ini secara otomatis dikonfigurasi ketika Anda memilih model di frontend, namun Anda dapat menambahkan model secara manual jika Anda mau.

Contoh:

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

Jika load_context: true maka Anda dapat menambahkan (kecil) di <Config Directory>/fireside-chat/context/ . File besar dapat menyebabkan kesalahan Memori Kehabisan.

Direktori

Config Directory adalah $HOME/.config/fireside-chat

Config Directory adalah $HOME/.cache/hugging-face

Perkembangan

Anda dapat mengkompilasi dengan variabel lingkungan FIRESIDE_BACKEND_URL , dan FIRESIDE_DATABASE_URL untuk memanggil server selain localhost .

Ini dapat dikonfigurasi di tauri.conf.json , atau di lingkungan sistem Anda.

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

Keterbatasan

• Saya tidak menguji di lingkungan Windows.