rag chat with pdf local llm

แชทด้วยเอกสาร PDF ของคุณ - เป็นทางเลือกกับ LLM ในพื้นที่

การติดตั้ง

pip install -r requirements.txt

pip install -U pydantic==1.10.9

เรียกใช้มัน

streamlit run chat.py

ดำเนินการ LLM ท้องถิ่น

วิธีที่ง่ายที่สุดในการเรียกใช้ LLM ในพื้นที่คือการใช้ LM Studio: https://lmstudio.ai/

LLM ที่ฉันใช้ในการพูดคุยในการประชุม (ทำงานได้ดีบน MBP M1 Max ที่มี RAM ขนาด 64GB):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF