rag chat with pdf local llm

قم بالدردشة مع مستندات PDF الخاصة بك - اختياريًا مع LLM محلي

تثبيت

pip install -r requirements.txt

pip install -U pydantic==1.10.9

تشغيله

streamlit run chat.py

تشغيل LLM المحلية

أسهل طريقة لتشغيل LLM محليًا هي استخدام LM Studio: https://lmstudio.ai/

LLM الذي أستخدمه في محادثاتي في المؤتمر (يعمل بشكل جيد على MBP M1 Max المزود بذاكرة وصول عشوائي (RAM) سعة 64 جيجابايت):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF