lokales LLM mit RAG

Lokales LLM mit RAG

Bei diesem Projekt handelt es sich um eine experimentelle Sandbox zum Testen von Ideen im Zusammenhang mit der Ausführung lokaler Large Language Models (LLMs) mit Ollama, um Retrieval-Augmented Generation (RAG) zur Beantwortung von Fragen basierend auf Beispiel-PDFs durchzuführen. In diesem Projekt verwenden wir Ollama auch, um Einbettungen mit dem nomic-embed-text zur Verwendung mit Chroma zu erstellen. Bitte beachten Sie, dass die Einbettungen bei jeder Ausführung der Anwendung neu geladen werden, was nicht effizient ist und hier nur zu Testzwecken durchgeführt wird.

Es gibt auch eine mit Streamlit erstellte Web-Benutzeroberfläche, die eine andere Möglichkeit der Interaktion mit Ollama bietet.

Anforderungen

• Ollama-Version 0.1.26 oder höher.

Aufstellen

1. Klonen Sie dieses Repository auf Ihren lokalen Computer.
2. Erstellen Sie eine virtuelle Python-Umgebung, indem Sie python3 -m venv .venv ausführen.
3. Aktivieren Sie die virtuelle Umgebung, indem Sie source .venv/bin/activate unter Unix oder MacOS oder ..venvScriptsactivate unter Windows ausführen.
4. Installieren Sie die erforderlichen Python-Pakete, indem Sie pip install -r requirements.txt ausführen.

Ausführen des Projekts

Hinweis: Wenn Sie das Projekt zum ersten Mal ausführen, werden die erforderlichen Modelle von Ollama für das LLM und die Einbettungen heruntergeladen. Dies ist ein einmaliger Einrichtungsvorgang und kann je nach Internetverbindung einige Zeit dauern.

1. Stellen Sie sicher, dass Ihre virtuelle Umgebung aktiviert ist.
2. Führen Sie das Hauptskript mit python app.py -m -p aus, um ein Modell und den Pfad zu Dokumenten anzugeben. Wenn kein Modell angegeben ist, wird standardmäßig Mistral verwendet. Wenn kein Pfad angegeben ist, wird für Beispielzwecke standardmäßig Research im Repository verwendet.
3. Optional können Sie mit -e das zu verwendende Einbettungsmodell angeben. Wenn nicht angegeben, wird standardmäßig nomic-embed-text verwendet.

Dadurch werden die PDFs und Markdown-Dateien geladen, Einbettungen generiert, die Sammlung abgefragt und die in app.py definierte Frage beantwortet.

Ausführen der Streamlit-Benutzeroberfläche

1. Stellen Sie sicher, dass Ihre virtuelle Umgebung aktiviert ist.
2. Navigieren Sie zu dem Verzeichnis, das das ui.py -Skript enthält.
3. Führen Sie die Streamlit-Anwendung aus, indem Sie streamlit run ui.py in Ihrem Terminal ausführen.

Dadurch wird ein lokaler Webserver gestartet und eine neue Registerkarte in Ihrem Standard-Webbrowser geöffnet, in der Sie mit der Anwendung interagieren können. Mit der Streamlit-Benutzeroberfläche können Sie Modelle auswählen und einen Ordner auswählen. Dies bietet im Vergleich zur Befehlszeilenschnittstelle eine einfachere und intuitivere Möglichkeit, mit dem RAG-Chatbot-System zu interagieren. Die Anwendung übernimmt das Laden von Dokumenten, das Generieren von Einbettungen, das Abfragen der Sammlung und die interaktive Anzeige der Ergebnisse.

Verwendete Technologien

• Langchain: Eine Python-Bibliothek für die Arbeit mit Large Language Model
• Ollama: Eine Plattform zum lokalen Ausführen von Large Language-Modellen.
• Chroma: Eine Vektordatenbank zum Speichern und Abrufen von Einbettungen.
• PyPDF: Eine Python-Bibliothek zum Lesen und Bearbeiten von PDF-Dateien.
• Streamlit: Ein Web-Framework zum Erstellen interaktiver Anwendungen für maschinelles Lernen und Data-Science-Projekte.