rag chat with pdf local llm

Chatten Sie mit Ihren PDF-Dokumenten – optional mit einem lokalen LLM

Installation

pip install -r requirements.txt

pip install -U pydantic==1.10.9

Führen Sie es aus

streamlit run chat.py

Ausführen eines lokalen LLM

Der einfachste Weg, ein lokales LLM auszuführen, ist die Verwendung von LM Studio: https://lmstudio.ai/

Das LLM, das ich in meinen Konferenzvorträgen verwende (funktioniert gut auf einem MBP M1 Max mit 64 GB RAM):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF