Llama_RAG_System

LLAMA_RAG_SYSTEM

Überblick

Das LLAMA_RAG_SYSTEM ist ein RA-System (RABUST-ARRAVEAL-AUGMENTED-Generation), mit dem Benutzer interaktiv auf Benutzeranfragen mit reichhaltigen, kontextbezogenen Antworten reagiert. Dieses System erstellt mit dem LLAMA -Modell und Ollama kann dieses System verschiedene Aufgaben erledigen, einschließlich der Beantwortung allgemeiner Fragen, der Zusammenfassung von Inhalten und dem Extrahieren von Informationen aus hochgeladenen PDF -Dokumenten. Die Architektur verwendet Chromadb für effiziente Dokumenteneinbettung und Abruf und enthält gleichzeitig Web-Scraping-Funktionen, um aktuelle Informationen aus dem Internet zu erhalten.

Hier ist ein Blick auf die Gradio App -Schnittstelle:

? Bitte beachten Sie: Dieses Projekt befindet sich derzeit in der Entwicklung. Ihr Feedback und Ihre Beiträge sind willkommen!

Merkmale

• Lokale Modellausführung mit Ollama : Verwendet Ollama, um das Lama -Modell lokal auszuführen, um schnellere Antworten und verbesserte Privatsphäre zu gewährleisten. Durch die Aufrechterhaltung der Datenverarbeitung können Benutzer die Kontrolle über ihre Informationen behalten, ohne sie an externe Server zu senden.
• Web-Scraping für aktualisierte Antworten : Kratzt das Internet, um Echtzeit- und relevante Informationen bereitzustellen, sodass das System genaue Antworten basierend auf den neuesten Daten liefern kann.
• PDF -Dokumentenverarbeitung : PDF -Dateien für die automatische Textextraktion und Einbettung hochladen.
• Dynamische Abfragehandhabung : Erkennt automatisch die Art der Benutzerabfragen (allgemeine Fragen, Zusammenfassung, Chit-Chat usw.) und liefert geeignete Antworten.
• Gradio- und Flask-Schnittstellen : Benutzerfreundliche Web-Schnittstellen für die Interaktion mit dem Modell und zum Hochladen von Dokumenten.
• Benutzerdefinierte Einbettungen : Verwenden Sie Chromadb zum Speichern und Abholen von Dokumenteneinbettungen effizient.

Warum Ollama verwenden?

OLLAMA ist aus mehreren Gründen eine hervorragende Option, um maschinelles Lernen vor Ort auszuführen:

• Privatsphäre : Ausführen des Modells auf der lokalen Infrastruktur sorgt dafür, dass sensible Daten in der Umgebung des Benutzers bleiben und das Risiko von Datenverletzungen oder Lecks minimieren.
• Leistung : Die lokale Ausführung reduziert die Latenz und ermöglicht schnellere Reaktionszeiten im Vergleich zu Cloud-basierten Lösungen.
• Anpassung : Benutzer können das Modell fein stimmen, um bestimmte Anforderungen zu erfüllen, ohne von externen Dienstanbietern abhängig zu sein.

Ordnerstruktur

Das Projekt ist wie folgt organisiert:

 project/
├── core/
│   ├── embedding.py             # Embedding-related functionality
│   ├── document_utils.py        # Functions to handle document loading and processing
│   ├── query.py                 # Query document functionality
│   ├── generate.py              # Response generation logic
│   ├── web_scrape.py            # Web scraping functionality
│
├── scripts/
│   ├── run_flask.py             # Script to run Flask API
│   ├── run_gradio.py            # Script to run Gradio interface
│
├── chromadb_setup.py            # ChromaDB setup and connection
│
├── README.md                    # Project documentation

Installation

Befolgen Sie die folgenden Schritte, um das Lama_Rag_System einzurichten:

1. Klonen Sie das Repository:

   git clone https://github.com/NimaVahdat/Llama_RAG_System.git
   cd Llama_RAG_System

2. Stellen Sie sicher, dass Chromadb und alle anderen erforderlichen Dienste nach Bedarf ausgeführt werden.

Verwendung

Ausführen der Flask -API

Führen Sie den folgenden Befehl aus, um die Flask -API zu starten:

python -m scripts.run_flask

Ausführen der Gradio -Schnittstelle

Um die Gradio -Schnittstelle zu starten, führen Sie aus:

python -m scripts.run_gradio

Nach dem Ausführen eines der eines Skripts können Sie über die bereitgestellte Webschnittstelle mit dem System interagieren.

Beitragen

Beiträge sind willkommen! Wenn Sie Vorschläge für Verbesserungen oder Funktionen haben, geben Sie bitte das Repository aus und senden Sie eine Pull -Anfrage.

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Anerkennung

• Lama für die zugrunde liegende Modellarchitektur.
• Ollama für die lokale Ausführung maschineller Lernmodelle und Verbesserung der Privatsphäre und Leistung.
• Gradio für die interaktive Schnittstelle.
• Chromadb für effiziente Dokumentenspeicher und -abruf.

Kontakt

Für Anfragen oder Unterstützung kontaktieren Sie mich bitte.