llm search

pyLLMSearch – Erweitertes RAG

Dokumentation

Der Zweck dieses Pakets besteht darin, ein praktisches Frage-Antwort-System (RAG) mit einer einfachen YAML-basierten Konfiguration anzubieten, das die Interaktion mit mehreren Sammlungen lokaler Dokumente ermöglicht. Besonderes Augenmerk wird auf Verbesserungen in verschiedenen Komponenten des Systems zusätzlich zu grundlegenden LLM-basierten RAGs gelegt – bessere Dokumentenanalyse, Hybridsuche, HyDE-fähige Suche, Chat-Verlauf, Deep-Linking, Neubewertung, die Möglichkeit, Einbettungen anzupassen und mehr . Das Paket ist so konzipiert, dass es mit benutzerdefinierten Large Language Models (LLMs) funktioniert – ob von OpenAI oder lokal installiert.

Merkmale

• Unterstützte Formate

  • Eingebaute Parser:
    • .md – Unterteilt Dateien nach logischen Komponenten wie Überschriften, Unterüberschriften und Codeblöcken. Unterstützt zusätzliche Funktionen wie das Bereinigen von Bildlinks, das Hinzufügen benutzerdefinierter Metadaten und mehr.
    • .pdf – MuPDF-basierter Parser.
    • .docx – benutzerdefinierter Parser, unterstützt verschachtelte Tabellen.
  • Andere gängige Formate werden vom Unstructured Präprozessor unterstützt:
    • Liste der Formate finden Sie hier.

• Unterstützung für das Parsen von Tabellen über Open-Source-Gmft (https://github.com/conjuncts/gmft) oder Azure Document Intelligence.

• Optionale Unterstützung für das Parsen von Bildern mithilfe der Gemini-API.

• Unterstützt mehrere Dokumentensammlungen und das Filtern der Ergebnisse nach einer Sammlung.

• Eine Möglichkeit, die Einbettungen schrittweise zu aktualisieren, ohne dass die gesamte Dokumentbasis neu indiziert werden muss.

• Erzeugt dichte Einbettungen aus einem Dokumentenordner und speichert sie in einer Vektordatenbank (ChromaDB).

  • Die folgenden Einbettungsmodelle werden unterstützt:
    • Umarmende Gesichtseinbettungen.
    • Auf Satztransformatoren basierende Modelle, z. B. multilingual-e5-base .
    • Ausbilderbasierte Modelle, z. B. instructor-large .

• Erzeugt spärliche Einbettungen mit SPLADE (https://github.com/naver/splade), um eine Hybridsuche (spärlich + dicht) zu ermöglichen.

• Unterstützt die „Retrieve and Re-Rank“-Strategie für die semantische Suche, siehe hier.

  • Neben dem ursprünglich ms-marco-MiniLM Cross-Encoder werden auch modernere bge-reranker unterstützt.

• Unterstützt HyDE (Hypothetical Document Embeddings) – siehe hier.

  • WARNUNG: Die Aktivierung von HyDE (über die Konfiguration ODER die Webanwendung) kann die Qualität der Ergebnisse erheblich beeinträchtigen. Bitte lesen Sie unbedingt das Papier, bevor Sie es aktivieren.
  • Meinen eigenen Experimenten zufolge steigert die Aktivierung von HyDE die Qualität der Ausgabe zu Themen erheblich, bei denen der Benutzer die Frage nicht in der domänenspezifischen Sprache des Themas formulieren kann – z. B. beim Erlernen neuer Themen.

• Unterstützung für Mehrfachabfragen, inspiriert von RAG Fusion – https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

  • Wenn die Mehrfachabfrage aktiviert ist (entweder in der Konfiguration oder in der Webanwendung), wird die ursprüngliche Abfrage durch drei Varianten derselben Abfrage ersetzt, was es ermöglicht, die Lücke in der Terminologie zu schließen und laut Artikel „unterschiedliche Blickwinkel oder Perspektiven anzubieten“.

• Unterstützt optionalen Chatverlauf mit Fragenkontextualisierung

• Ermöglicht die Interaktion mit eingebetteten Dokumenten und unterstützt intern die folgenden Modelle und Methoden (einschließlich lokal gehosteter):

  • OpenAI-Modelle (ChatGPT 3.5/4 und Azure OpenAI).
  • HuggingFace-Modelle.
  • Von Llama CPP unterstützte Modelle – eine vollständige Liste finden Sie hier.
  • AutoGPTQ-Modelle (vorübergehend deaktiviert aufgrund defekter Abhängigkeiten).

• Interoperabilität mit LiteLLM + Ollama über OpenAI API, unterstützt Hunderte verschiedener Modelle (siehe Modellkonfiguration für LiteLLM)

• Weitere Funktionen

  • Einfache CLI- und Webschnittstellen.
  • Deep-Linking in Dokumentabschnitte – Springen Sie zu einer einzelnen PDF-Seite oder einer Kopfzeile in einer Markdown-Datei.
  • Möglichkeit, Antworten für zukünftige Analysen in einer Offline-Datenbank zu speichern.
  • Experimentelle API

Demo

Dokumentation

Dokumentation durchsuchen