rag chat with pdf local llm

Chatea con tus documentos PDF (opcionalmente con un LLM local)

Instalación

pip install -r requirements.txt

pip install -U pydantic==1.10.9

ejecutarlo

streamlit run chat.py

Ejecutar un LLM local

La forma más sencilla de ejecutar un LLM local es utilizar LM Studio: https://lmstudio.ai/

El LLM que uso en mis conferencias (funciona bien en un MBP M1 Max con 64 GB de RAM):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF