หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

แชทข้างกองไฟ

(ก่อนหน้า "เทียนแชต")

อินเทอร์เฟซ LLM ที่ใช้งานใน Rust ล้วนๆ โดยใช้ HuggingFace/Candle บน Axum Websockets ฐานข้อมูล SQLite และส่วนหน้า Leptos (Wasm) ที่มาพร้อมกับ Tauri!

ชมวิดีโอแนะนำ:

เป้าหมาย

โปรเจ็กต์นี้ออกแบบมาสำหรับการแชทแบบผู้ใช้คนเดียวและหลายคนด้วย Large Language Models (LLM) จำนวนมาก

คุณสมบัติ

  • แบ็กเอนด์การอนุมานภายในหรือระยะไกล
  • ฐานข้อมูล SQLite ภายในหรือระยะไกล

การตั้งค่า / การใช้งาน

คุณสามารถกำหนดค่าโมเดลและการตั้งค่าการอนุมานเริ่มต้นของคุณได้โดยการใส่ไฟล์ลงใน Config Directory สิ่งนี้จะได้รับการกำหนดค่าโดยอัตโนมัติเมื่อคุณเลือกโมเดลในส่วนหน้า แต่คุณสามารถเพิ่มโมเดลด้วยตนเองได้หากต้องการ

ตัวอย่าง: 

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 
 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role :

หาก load_context: true คุณสามารถเพิ่ม (เล็ก) ใน <Config Directory>/fireside-chat/context/ ได้ ไฟล์ขนาดใหญ่อาจทำให้เกิดข้อผิดพลาดหน่วยความจำไม่เพียงพอ

ไดเรกทอรี

Config Directory คือ $HOME/.config/fireside-chat

Config Directory คือ $HOME/.cache/hugging-face

การพัฒนา

คุณสามารถคอมไพล์ด้วยตัวแปรสภาพแวดล้อม FIRESIDE_BACKEND_URL และ FIRESIDE_DATABASE_URL เพื่อเรียกเซิร์ฟเวอร์อื่นที่ไม่ใช่ localhost

ซึ่งสามารถกำหนดค่าได้ใน tauri.conf.json หรือในสภาพแวดล้อมระบบของคุณ 

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

ข้อจำกัด

  • ฉันไม่ได้ทดสอบในสภาพแวดล้อม Windows
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด