rag arena

RAG-Arena

RAG Arena ist ein Open-Source-Next.js-Projekt, das zu meiner mendable.ai gemacht wurde und mit LangChain verbunden ist, um ein RAG-Chatbot-Erlebnis zu bieten, bei dem Anfragen mehrere Antworten erhalten. Benutzer stimmen über diese Antworten ab, die dann unscharf werden, um den verwendeten Retriever preiszugeben, wodurch sich die Chatbots durch ihre Daten-RAG-Methoden unterscheiden. Das Projekt nutzt Supabase für Datenbankoperationen und verfügt über eine Echtzeit-Bestenliste, die Daten aus der Datenbank anzeigt.

Installation

Stellen Sie sicher, dass pnpm auf Ihrem System installiert ist. Wenn nicht, installieren Sie es über:

npm install -g pnpm

Klonen Sie das Projekt-Repository:

git clone https://github.com/mendableai/rag-arena

Navigieren Sie zum Projektverzeichnis und installieren Sie die Abhängigkeiten:

 cd RAG-arena
pnpm i

Konfigurieren Sie Ihre Umgebungsvariablen:

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

Starten Sie den Entwicklungs-Webserver (nextjs):

pnpm dev

Ausführen des Python-Servers

 cd python_service

poetry install

*(Wenn Sie keine Poesie haben, fügen Sie einfach eine ID mit pip install Poetry hinzu)

Aktivieren des Neo4j Graph Store

Für den Graph Rag Retriever müssen Sie den Graph Store erstellen lassen oder den Server automatisch die Funktion „create_neo4j_graph_store“ (lokalisiert in /python_service/retrievers/neo4j_retriever.py ) ausführen lassen, indem Sie die Zeilen auskommentieren:

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

Dies kann je nach den in data/chunks verwendeten Daten eine Weile dauern. Am Ende wird Ihr neo/storage -Verzeichnis mit persistenten Daten für den lokalen Diagrammspeicher gefüllt.

Ladeindex zum ersten Mal

Der Index muss geladen und zwischengespeichert werden, damit das Graph RAG verwendet werden kann. Die Funktion load_index() erledigt das für Sie in python_service/app.py . Daher kann es bei Ihrer allerersten Ausführung eine Weile dauern, die zwischengespeicherte .pkl-Datei zu erstellen, die in python_service/index/cache abgelegt wird.

Führen Sie den Flask-Server lokal im Debug-Modus aus

poetry run flask run --debug

Öffnen Sie http://localhost:3000 mit Ihrem Browser, um das Ergebnis anzuzeigen.

Architekturübersicht

Aufnahmesystem

• Pfad: app/api/ingest/route.ts
• Beschreibung: Dieses Modul ist für die Aufnahme von Artikeln in eine Vektordatenbank verantwortlich, sodass sie für zukünftige Abfragen abrufbar sind.
• Implementierungsdetails:
  • Splitter: Verwendet den RecursiveCharacterTextSplitter von LangChain für eine effektive Textaufteilung.
  • Einbettungen: Nutzt OpenAIEmbeddings zum Generieren von Dokumenteinbettungen.
  • Speicherung: Verwendet SupabaseVectorStore zum Speichern der verarbeiteten Dokumente in Supabase.

Dynamischer Retriever

• Pfad: app/api/retrievers/dynamic-retriever/route.ts
• Beschreibung: Wählt basierend auf Benutzereingaben dynamisch verschiedene Retriever aus und verwendet sie, um relevante Dokumente abzurufen.
• Hauptmerkmale:
  • Ratenbegrenzung: Implementiert eine Ratenbegrenzung, um die Last zu verwalten und eine faire Nutzung sicherzustellen.
  • Dokument-RAG: Ruft Dokumente ab, die für die Anfrage des Benutzers am relevantesten sind.
  • OpenAI-Integration: Interagiert mit der OpenAI-API, um den Chat-Abschluss zu verbessern, unterstützt von SupabaseVectorStore für den Dokumentenabgleich.

Abstimmungssystem

• Pfad: actions/voting-system.ts
• Zweck: Überwacht die Logik hinter der Abstimmung für die abgerufenen Antworten, die für das Lernen und die Anpassung des Systems von entscheidender Bedeutung ist.
• Funktionalitäten:
  • Abstimmungsverfolgung: Aktualisiert die Anzahl der Stimmen, die Testzeiten und die Elo-Bewertungen für jeden Retriever.
  • Elo-Anpassung: Passt die Elo-Bewertungen basierend auf der durchschnittlichen Häufigkeit an, mit der Retriever getestet wurden, und fördert so Fairness und Genauigkeit.

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

Datenbankschema

• Tabellenname: Bestenliste
• Inhalt: Enthält wichtige Daten für jeden Retriever, einschließlich id , retriever , elo , votes , times_tested , full_name , description und link .

Übersicht über die RAG-Funktionen

(https://js.langchain.com/docs/modules/data_connection/retrievers/)

In diesem Abschnitt werden die verschiedenen in app/api/retrievers/dynamic-retriever/tools/functions.ts definierten RAG-Funktionen beschrieben und deren Zweck und Implementierung innerhalb der Projektarchitektur detailliert beschrieben. Diese Funktionen spielen eine entscheidende Rolle im Dokumenten-RAG-Prozess und nutzen verschiedene Strategien und Technologien, um Leistung und Genauigkeit zu optimieren.

Vector Store

• Wann zu verwenden: Ideal für Anfänger, die eine schnelle und unkomplizierte Lösung suchen.
• Beschreibung: Diese Funktion nutzt die Einfachheit der Erstellung von Einbettungen für jedes Textstück und macht es zum am besten zugänglichen Ausgangspunkt für Dokument-RAG.

Übergeordnetes Dokument

• Verwendungszweck: Am besten geeignet für Dokumente, die in kleinere, unterschiedliche Informationsblöcke unterteilt sind, die separat indiziert werden, aber als Ganzes abgerufen werden sollten.
• Beschreibung: Es indiziert mehrere Blöcke pro Dokument und identifiziert die ähnlichsten Blöcke im Einbettungsraum, um das gesamte übergeordnete Dokument und nicht nur die einzelnen Blöcke abzurufen.

Multi-Vektor

• Verwendungszweck: Geeignet, wenn Sie mehr relevante Informationen für die Indexierung extrahieren können als den Text des Dokuments selbst.
• Beschreibung: Erstellt mehrere Vektoren für jedes Dokument, wobei jeder Vektor möglicherweise Textzusammenfassungen, hypothetische Fragen oder andere Formen destillierter Informationen darstellt.

Kontextuelle Komprimierung

• Verwendungszweck: Nützlich, wenn abgerufene Dokumente übermäßig viele irrelevante Informationen enthalten, die von der Kernabfrageantwort ablenken.
• Beschreibung: Fügt einem anderen Retriever einen Nachbearbeitungsschritt hinzu, der nur die relevantesten Informationen aus abgerufenen Dokumenten extrahiert, was mithilfe von Einbettungen oder einem LLM erreicht werden kann.

Zeitgewichtet

• Verwendungszweck: Ideal für Dokumente mit zugehörigen Zeitstempeln, mit dem Ziel, die neuesten Dokumente basierend auf semantischer Ähnlichkeit und Aktualität abzurufen.
• Beschreibung: Ruft Dokumente ab, indem semantische Ähnlichkeit mit Dokumentzeitstempeln abgeglichen wird, um sicherzustellen, dass aktuelle Dokumente im RAG-Prozess priorisiert werden.

Multi-Query-Retriever

• Verwendungszweck: Am besten für komplexe Anfragen geeignet, die mehrere unterschiedliche Informationen für eine umfassende Antwort erfordern.
• Beschreibung: Generiert mehrere Abfragen aus einer einzigen Eingabe und deckt so den Informationsbedarf zu verschiedenen Themen ab, um die ursprüngliche Abfrage vollständig zu beantworten. Dieser Ansatz ruft Dokumente für jede generierte Anfrage ab und gewährleistet so eine gründliche Antwort.

Mitwirken

Beiträge sind willkommen! Bitte folgen Sie dem Standard-Fork- und Pull-Request-Workflow. Stellen Sie sicher, dass Sie die im Projekt vorhandenen Codierungsstile und -muster einhalten und Tests für neue Funktionen oder Fehlerbehebungen schreiben.

Lizenz

RAG Arena ist Open Source und wird unter der MIT-Lizenz veröffentlicht. Weitere Informationen finden Sie in der LICENSE-Datei.