Lumpen-Chatbot

Chatten Sie lokal mit mehreren PDFs

Aufstellen

1. Kaggle (empfohlen)

• Importieren Sie notebooks/kaggle.ipynb in Kaggle

• Ersetzen Sie durch Ihre Token.

2. Lokal

2.1. Projekt klonen

 Git-Klon https://github.com/datvodinh/rag-chatbot.gitcd rag-chatbot

2.2 Installieren

2.2.1 Docker

 Docker komponieren --build

2.2.2 Skript verwenden (Ollama, Ngrok, Python-Paket)

 Quelle ./scripts/install_extra.sh

2.2.3 Manuell installieren

1. Ollama

• MacOS, Fenster: Herunterladen

• Linux

 curl -fsSL https://ollama.com/install.sh | sh

2. Ngrok

• Macos

 brew installiere ngrok/ngrok/ngrok

• Linux

 curl -s https://ngrok-agent.s3.amazonaws.com/ngrok.asc
 | sudo tee /etc/apt/trusted.gpg.d/ngrok.asc >/dev/null
 && echo „deb https://ngrok-agent.s3.amazonaws.com buster main“ | sudo tee /etc/apt/sources.list.d/ngrok.list
 && sudo apt update
 && sudo apt install ngrok

3. Installieren Sie das rag_chatbot -Paket

 Quelle ./scripts/install.sh

2.3 Ausführen

 Quelle ./scripts/run.sh

oder

 python -m rag_chatbot --host localhost

• Mit Ngrok

 Quelle ./scripts/run.sh --ngrok

3. Gehen Sie nach Abschluss der Einrichtung zu: http://0.0.0.0:7860/ oder zum Ngrok-Link

Todo

• Bewertung hinzufügen.

• Bessere Dokumentenverarbeitung.

• Unterstützen Sie ein besseres Einbettungsmodell für Vietnamesisch und andere Sprachen.

• ReAct-Agent.

• Dokumentenverwaltung (Qrdant, MongoDB,...)