fireside chat

노변담화

(이전 "캔들채팅")

Axum 웹소켓, SQLite 데이터베이스 및 Tauri와 함께 패키지된 Leptos(Wasm) 프런트엔드를 통해 HuggingFace/Candle을 사용하여 순수 Rust로 구현된 LLM 인터페이스입니다!

소개 비디오 보기:

목표

이 프로젝트는 다양한 LLM(대형 언어 모델)을 사용한 단일 및 다중 사용자 채팅을 위해 설계되었습니다.

특징

• 로컬 또는 원격 추론 백엔드
• 로컬 또는 원격 SQLite 데이터베이스

설정/작동

Config Directory 에 파일을 넣어 모델 및 기본 추론 설정을 구성할 수 있습니다. 이는 프런트엔드에서 모델을 선택할 때 자동으로 구성되지만 원하는 경우 수동으로 모델을 추가할 수도 있습니다.

예:

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 

 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role : 

load_context: true 이면 <Config Directory>/fireside-chat/context/ 에 (작은)을 추가할 수 있습니다. 대용량 파일은 메모리 부족 오류를 일으킬 수 있습니다.

디렉토리

Config Directory $HOME/.config/fireside-chat 입니다.

Config Directory $HOME/.cache/hugging-face 입니다.

개발

환경 변수 FIRESIDE_BACKEND_URL 및 FIRESIDE_DATABASE_URL 을 사용하여 컴파일하여 localhost 이외의 서버를 호출할 수 있습니다.

이는 tauri.conf.json 또는 시스템 환경에서 구성할 수 있습니다.

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

제한사항

• Windows 환경에서는 테스트하지 않습니다.