rag chat with pdf local llm

與您的 PDF 文件聊天 - 可選擇與本地法學碩士聊天

安裝

pip install -r requirements.txt

pip install -U pydantic==1.10.9

運行它

streamlit run chat.py

運行本地法學碩士

運行本地 LLM 最簡單的方法是使用 LM Studio：https://lmstudio.ai/

我在會議演講中使用的法學碩士（在具有 64GB RAM 的 MBP M1 Max 上運作良好）：

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF