rag chat with pdf local llm

Discutez avec vos documents PDF - éventuellement avec un LLM local

Installation

pip install -r requirements.txt

pip install -U pydantic==1.10.9

Exécutez-le

streamlit run chat.py

Exécuter un LLM local

Le moyen le plus simple d'exécuter un LLM local est d'utiliser LM Studio : https://lmstudio.ai/

Le LLM que j'utilise dans mes conférences (fonctionne bien sur un MBP M1 Max avec 64 Go de RAM) :

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF