rag chat with pdf local llm

Общайтесь со своими PDF-документами — при необходимости с местным LLM

Установка

pip install -r requirements.txt

pip install -U pydantic==1.10.9

Запусти это

streamlit run chat.py

Запуск местного LLM

Самый простой способ запустить локальный LLM — использовать LM Studio: https://lmstudio.ai/

LLM, который я использую в своих выступлениях на конференциях (отлично работает на MBP M1 Max с 64 ГБ ОЗУ):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF