rag chat with pdf local llm

PDF 문서와 채팅 - 선택적으로 현지 LLM과 채팅

설치

pip install -r requirements.txt

pip install -U pydantic==1.10.9

실행해 보세요

streamlit run chat.py

지역 LLM 운영

로컬 LLM을 실행하는 가장 쉬운 방법은 LM Studio를 사용하는 것입니다: https://lmstudio.ai/

컨퍼런스 강연에서 사용하는 LLM(64GB RAM을 갖춘 MBP M1 Max에서 잘 작동함):

• TheBloke/dolphin-2.2.1-mistral-7B-GGUF/dolphin-2.2.1-mistral-7b.Q8_0.gguf
  • https://huggingface.co/TheBloke/dolphin-2.2.1-mistral-7B-GGUF