llm chatbot rag

llm-chatbot-rag

لاستخدام نماذج LLM معينة (مثل Gemma)، تحتاج إلى إنشاء ملف .env يحتوي على السطر ACCESS_TOKEN=<your hugging face token>

تثبيت التبعيات باستخدام pip install -r requirements.txt

قم بالتشغيل باستخدام streamlit run src/app.py

يتطلب استخدام التكميم وحدة معالجة الرسومات

لاستخدام تكميم البتات والبايتات، يلزم توفر وحدة معالجة الرسومات Nvidia. تأكد من تثبيت مجموعة أدوات NVIDIA أولاً ثم PyTorch.

يمكنك التحقق مما إذا كانت وحدة معالجة الرسومات الخاصة بك متوفرة في Python باستخدام

 import torch
print(torch.cuda.is_available())

إذا لم يكن لديك وحدة معالجة رسومات متوافقة، فحاول ضبط device="cpu" للنموذج وإزالة تكوين التكميم.