الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

دردشة المدفأة

(السابق "دردشة الشمعة")

واجهة LLM تم تنفيذها في Rust الخالص باستخدام HuggingFace/Candle عبر Axum Websockets، وقاعدة بيانات SQLite، وواجهة Leptos (Wasm) الأمامية المجهزة بـ Tauri!

شاهد الفيديو التعريفي:

الأهداف

تم تصميم هذا المشروع للدردشة الفردية والمتعددة المستخدمين مع العديد من نماذج اللغات الكبيرة (LLMs).

سمات

  • الواجهة الخلفية للاستدلال المحلي أو البعيد
  • قاعدة بيانات SQLite المحلية أو البعيدة

الإعداد / التشغيل

يمكنك تكوين النموذج وإعدادات الاستدلال الافتراضية الخاصة بك عن طريق وضع الملفات في Config Directory الخاص بك. يتم تكوين هذا تلقائيًا عندما تختار نموذجًا في الواجهة الأمامية، ولكن يمكنك إضافة نماذج يدويًا إذا أردت.

مثال: 

 # config_model.yaml
repo_id : DanielClough/Candle_Puffin-Phi-v2
q_lvl : q2k
revision : main
tokenizer_file : null
weight_file : null
quantized : true
cpu : false
use_flash_attn : false
template : ShareGPT 
 # config_inference.yaml
temperature : 
top_p : 
seed : 299792458
sample_len : 150
repeat_penalty : 1.3
repeat_last_n : 150
load_context : false
role :

إذا كان load_context: true ، فيمكنك إضافة (صغير) في <Config Directory>/fireside-chat/context/ . قد تتسبب الملفات الكبيرة في حدوث أخطاء نفاد الذاكرة.

الدلائل

Config Directory هو $HOME/.config/fireside-chat

Config Directory هو $HOME/.cache/hugging-face

تطوير

يمكنك التحويل البرمجي باستخدام متغير البيئة إلى FIRESIDE_BACKEND_URL و FIRESIDE_DATABASE_URL للاتصال بخادم آخر غير localhost .

يمكن تكوين ذلك في tauri.conf.json أو في بيئة النظام لديك. 

 # eg. for Linux
export FIRESIDE_BACKEND_URL=192.168.1.6 && trunk serve

القيود

  • أنا لا أقوم بالاختبار في بيئات Windows.
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل