rag chat with pdf local llm

Converse com seus documentos PDF - opcionalmente com um LLM local

Instalação

pip install -r requirements.txt

pip install -U pydantic==1.10.9

Execute-o

streamlit run chat.py

Executando um LLM local

A maneira mais fácil de executar um LLM local é usar o LM Studio: https://lmstudio.ai/

O LLM que uso em minhas palestras (funciona bem em um MBP M1 Max com 64 GB de RAM):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF