rag chat with pdf local llm

Ngobrol dengan dokumen PDF Anda - opsional dengan LLM lokal

Instalasi

pip install -r requirements.txt

pip install -U pydantic==1.10.9

Jalankan

streamlit run chat.py

Menjalankan LLM lokal

Cara termudah untuk menjalankan LLM lokal adalah dengan menggunakan LM Studio: https://lmstudio.ai/

LLM yang saya gunakan dalam pembicaraan konferensi saya (berfungsi dengan baik pada MBP M1 Max dengan RAM 64GB):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF