rag chat with pdf local llm

与您的 PDF 文档聊天 - 可选择与本地法学硕士聊天

安装

pip install -r requirements.txt

pip install -U pydantic==1.10.9

运行它

streamlit run chat.py

运行本地法学硕士

运行本地 LLM 最简单的方法是使用 LM Studio：https://lmstudio.ai/

我在会议演讲中使用的法学硕士（在具有 64GB RAM 的 MBP M1 Max 上运行良好）：

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF