rag chat with pdf local llm

PDF ドキュメントとチャットする - オプションでローカル LLM とチャットする

インストール

pip install -r requirements.txt

pip install -U pydantic==1.10.9

実行してください

streamlit run chat.py

ローカル LLM の実行

ローカル LLM を実行する最も簡単な方法は、LM Studio を使用することです: https://lmstudio.ai/

私が電話会議で使用している LLM (64GB RAM を搭載した MBP M1 Max で正常に動作します):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF