context search engine

Kontextuelle Textsuchmaschine mit Vektordaten und FAISS

Das Hauptziel dieses Projekts besteht darin, die Funktionen der Vektorsuche zu demonstrieren, indem eine benutzerfreundliche Schnittstelle bereitgestellt wird, die es Benutzern ermöglicht, kontextbezogene Suchen in einem Korpus von Textdokumenten durchzuführen. Indem wir die Leistungsfähigkeit von BERT von Hugging Face und FAISS von Facebook nutzen, geben wir hochrelevante Textpassagen zurück, die auf der semantischen Bedeutung der Suchanfrage des Benutzers basieren und nicht auf bloßen Schlüsselwortübereinstimmungen. Dieses Projekt dient als Ausgangspunkt für Entwickler, Forscher und Enthusiasten, die tiefer in die Welt der kontextualisierten Textsuche eintauchen und ihre Anwendungen mit modernsten NLP-Techniken verbessern möchten.

Mein Ziel ist es sicherzustellen, dass wir die Hintergründe der Vektordatenbank von Grund auf verstehen.

Screenshot der Anwendung:

1. Voraussetzungen

Um auf Ihrem System ausgeführt zu werden, können Sie alle erforderlichen Pakete über pip mithilfe der Anforderungsdateien installieren:

pip install -r requirements.txt

Zu Ihrer Information: Ich verwende Python 3.10.1.

Wenn Sie jedoch über eine GPU verfügen, werden Sie gebeten, die FAISS GPU zu installieren, um schnellere und größere Datenbankintegrationen zu ermöglichen.

2. Umfang des Projekts

Die aktuelle Version dieses Projekts umfasst:

• Eine einfache, mit Flask erstellte Weboberfläche, über die Benutzer ihre Suchanfragen eingeben und senden können.
• Eine Backend-Suchmaschine, die:
  • Wandelt Benutzeranfragen mithilfe von Distil BERT in semantische Vektoren um.
  • Vergleicht den Abfragevektor effizient mit einem vorindizierten Satz von Vektoren (entsprechend Textdokumenten), die in einem FAISS-Index gespeichert sind.
  • Gibt die kontextuell relevanteste Textpassage aus dem Korpus zurück.
  • Hebt die Schlüsselwörter in der zurückgegebenen Textpassage hervor, die kontextuell übereinstimmen.

Das Projekt bietet zwar ein funktionales kontextbezogenes Suchsystem, ist aber modular aufgebaut und ermöglicht eine mögliche Erweiterung und Integration in größere Systeme oder Anwendungen.

3. Erläuterung des Gesamtansatzes

Die Grundlage dieses Projekts liegt in der Überzeugung, dass moderne NLP-Techniken im Vergleich zu herkömmlichen schlüsselwortbasierten Methoden weitaus genauere und kontextrelevantere Suchergebnisse liefern können. Hier ist eine Aufschlüsselung unseres Ansatzes:

1. Benutzeroberfläche : Das mit Flask erstellte Frontend dient als Interaktionspunkt für die Benutzer. Es ist einfach und intuitiv gehalten.
2. Abfragevektorisierung : Wenn ein Benutzer eine Abfrage sendet, wandelt das Backend-System diese mithilfe von Distil BERT in einen semantischen Vektor um. Dieser Vektor kapselt die Bedeutung der Abfrage.
3. Suchen mit FAISS : FAISS, eine effiziente Ähnlichkeitssuchbibliothek, wird verwendet, um den Abfragevektor schnell mit einem vorab festgelegten Index von Vektoren aus dem Textkorpus zu vergleichen. Die engste Übereinstimmung hinsichtlich der semantischen Bedeutung wird identifiziert.
4. Zurückgeben von Ergebnissen : Sobald die relevanteste Textpassage identifiziert wurde, hebt das System auch Schlüsselwörter oder Phrasen hervor, die kontextuell mit der Suchanfrage des Benutzers übereinstimmen, und bietet dem Benutzer einen visuellen Hinweis darauf, warum eine bestimmte Passage als relevant erachtet wurde.
5. Iterative Verfeinerung : Die zugrunde liegenden Modelle und Techniken können auf der Grundlage neuerer Forschungsergebnisse, Benutzerfeedbacks und spezifischer Anwendungsanforderungen verfeinert werden.

Basierend auf dem Ansatz habe ich das Projekt in 2 Abschnitte unterteilt:

Abschnitt 1: Generieren durchsuchbarer vektorisierter Daten

In diesem Abschnitt lesen wir zunächst Eingaben aus Dokumenten, zerlegen sie in kleinere Teile, erstellen Vektoren mithilfe eines BERT-basierten Modells und speichern sie dann effizient mithilfe von FAISS. Hier ist ein Flussdiagramm, das dasselbe veranschaulicht.

Wir erstellen eine FAISS-Indexdatei, die eine Vektordarstellung des segmentierten Dokuments enthält. Wir speichern auch den Index jedes Blocks. Dies wird beibehalten, damit wir die Datenbank/Dokumente nicht erneut abfragen müssen. Dies hilft uns, redundante Lesevorgänge zu entfernen.

Wir führen diesen Abschnitt mit create_index.py aus. Es werden die beiden oben genannten Dateien generiert. Wenn Sie andere Modelle verwenden müssen, können Sie dies über den HuggingFace-Hub tun?

Hinweis: Wenn Sie Probleme beim Einrichten von Hyperparametern für die Dimension feststellen, überprüfen Sie die Datei „config.json“ des Modells, um Details zur Dimension des Modells zu finden, das Sie verwenden möchten.

Abschnitt 2: Durchsuchbare Anwendungsschnittstelle erstellen

In diesem Abschnitt besteht mein Ziel darin, eine Schnittstelle zu erstellen, die es Benutzern ermöglicht, mit den Dokumenten zu interagieren. Ich lege Wert auf minimalistisches Design, ohne zusätzliche Hürden zu schaffen.

4. Projektstruktur

1. index.html : Frontend-HTML-Seite zur Eingabe von Suchanfragen.
2. app.py : Flask-Anwendung, die das Frontend bedient und Suchanfragen verarbeitet.
3. search_engine.py : Enthält Logik für die Einbettungsgenerierung, die FAISS-Suche und die Schlüsselworthervorhebung.

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. Nutzung

1. Stellen Sie sicher, dass Sie über einen trainierten FAISS-Index ( faiss_index.idx ) und eine begleitende Zuordnung vom Index zum Textblock ( index_to_chunk.pkl ) verfügen.
2. Starten Sie die Flask-Anwendung:

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. Öffnen Sie einen Webbrowser und gehen Sie zu http://localhost:5000 .
2. Geben Sie eine Suchanfrage ein und beobachten Sie das kontextrelevante Ergebnis.

6. Zu tunde Dinge – für Verbesserungen

Es gibt immer Raum für Verbesserungen. Hier sind einige mögliche Verbesserungen und zusätzliche Funktionen, die integriert werden können:

1. Skalierbarkeit : Derzeit ist das System für relativ kleinere Korpora konzipiert. Erwägen Sie die Nutzung verteilter Systeme oder cloudbasierter Lösungen, um größere Datensätze zu verarbeiten.
2. Erweiterte Hervorhebung : Verbessern Sie das Schlüsselwort-Hervorhebungssystem, um sicherzustellen, dass kontextrelevante Phrasen (und nicht nur einzelne Wörter) hervorgehoben werden.
3. Feedback-Schleife : Integrieren Sie einen Benutzer-Feedback-Mechanismus, mit dem Benutzer die Relevanz der zurückgegebenen Ergebnisse bewerten können. Dies kann zur Feinabstimmung der Modelle in der Zukunft genutzt werden.
4. Unterstützung für mehrere Dokumenttypen : Erweitern Sie die Unterstützung für verschiedene Dokumenttypen wie PDF, DOCX usw., sodass Benutzer in verschiedenen Formaten suchen können.
5. Erweitertes Frontend : Verbessern Sie die Benutzeroberfläche und integrieren Sie möglicherweise erweiterte Funktionen wie automatische Vervollständigung, Abfragevorschläge oder eine anspruchsvollere Ergebnisanzeige.
6. Unterstützung für mehrsprachige Suchen : Erweitern Sie das System, um Abfragen in mehreren Sprachen zu unterstützen und Ergebnisse aus einem mehrsprachigen Korpus zurückzugeben.

7. Lizenz

Dieses Projekt steht unter der MIT-Lizenz. Fühlen Sie sich frei, es zu verwenden, zu zitieren, zu ändern, zu verbreiten und beizutragen. Mehr lesen.

8. Mitwirken

Wenn Sie daran interessiert sind, dieses Projekt zu verbessern, sind Ihre Beiträge willkommen! Bitte öffnen Sie einen Pull Request oder Issue für dieses Repository. Ich priorisiere im Wesentlichen die oben genannten Maßnahmen zur Verbesserung. Andere Pull-Anfragen werden ebenfalls berücksichtigt, haben jedoch eine geringere Priorität.

Vielen Dank im Voraus für Ihr Interesse. :Glücklich: .