context search engine

Moteur de recherche de texte contextuel utilisant des données vectorielles et FAISS

L'objectif principal de ce projet est de présenter les capacités de recherche vectorielle en fournissant une interface conviviale qui permet aux utilisateurs d'effectuer des recherches contextuelles dans un corpus de documents texte. En tirant parti de la puissance du BERT de Hugging Face et du FAISS de Facebook, nous renvoyons des passages de texte très pertinents basés sur la signification sémantique de la requête de l'utilisateur plutôt que sur de simples correspondances de mots clés. Ce projet sert de point de départ aux développeurs, chercheurs et passionnés qui souhaitent approfondir le monde de la recherche de texte contextualisée et améliorer leurs applications avec des techniques de pointe en PNL.

Mon objectif est de m'assurer que nous comprenons la base de données vectorielles en coulisses à partir de zéro.

Capture d'écran de l'application :

1. Conditions préalables

Afin de fonctionner sur votre système, vous pouvez installer tous les packages nécessaires via pip à l'aide des fichiers d'exigences :

pip install -r requirements.txt

Pour votre information, j'utilise Python 3.10.1.

Cependant, si vous disposez d'un GPU, vous êtes invité à installer le GPU FAISS pour des intégrations de bases de données plus rapides et plus volumineuses.

2. Portée du projet

La version actuelle de ce projet comprend :

• Une interface Web de base construite à l'aide de Flask où les utilisateurs peuvent saisir et soumettre leurs requêtes de recherche.
• Un moteur de recherche back-end qui :
  • Transforme les requêtes des utilisateurs en vecteurs sémantiques à l'aide de Distil BERT.
  • Compare efficacement le vecteur de requête à un ensemble de vecteurs pré-indexés (correspondant à des documents texte) stockés dans un index FAISS.
  • Renvoie le passage de texte du corpus le plus pertinent sur le plan contextuel.
  • Met en surbrillance les mots-clés du passage de texte renvoyé qui correspondent contextuellement.

Bien que le projet offre un système de recherche contextuelle fonctionnel, il est conçu pour être modulaire, permettant une expansion et une intégration potentielles dans des systèmes ou des applications plus vastes.

3. Explication de l'approche globale

Le fondement de ce projet réside dans la conviction que les techniques modernes de PNL peuvent offrir des résultats de recherche beaucoup plus précis et contextuellement pertinents par rapport aux méthodes traditionnelles basées sur des mots clés. Voici un aperçu de notre approche :

1. Interface utilisateur : Le frontend, construit à l'aide de Flask, sert de point d'interaction pour les utilisateurs. Cela reste simple et intuitif.
2. Vectorisation de requête : Lorsqu'un utilisateur soumet une requête, le système backend la transforme en vecteur sémantique à l'aide de Distil BERT. Ce vecteur encapsule le sens de la requête.
3. Recherche avec FAISS : FAISS, une bibliothèque de recherche de similarité efficace, est utilisée pour comparer rapidement le vecteur de requête à un index préétabli de vecteurs du corpus de texte. La correspondance la plus proche, en termes de signification sémantique, est identifiée.
4. Retour des résultats : une fois le passage de texte le plus pertinent identifié, le système met également en évidence les mots-clés ou les expressions qui correspondent contextuellement à la requête de l'utilisateur, offrant ainsi un repère visuel à l'utilisateur sur la raison pour laquelle un passage particulier a été jugé pertinent.
5. Raffinement itératif : les modèles et techniques sous-jacents sont ouverts à des raffinements basés sur des recherches plus récentes, les commentaires des utilisateurs et les besoins spécifiques des applications.

Sur la base de l'approche, j'ai divisé le projet en 2 sections :

Section 1 : Génération de données vectorielles consultables

Dans cette section, nous lisons d'abord les entrées des documents, les décomposons en morceaux plus petits, créons des vecteurs à l'aide d'un modèle basé sur BERT, puis les stockons efficacement à l'aide de FAISS. Voici un organigramme qui illustre la même chose.

Nous créons un fichier d'index FAISS qui contient une représentation vectorielle du document fragmenté. Nous stockons également l'index de chaque morceau. Ceci est maintenu afin que nous n'ayons pas à interroger à nouveau la base de données/les documents. Cela nous aide à supprimer les opérations de lecture redondantes.

Nous effectuons cette section en utilisant create_index.py. Il générera les 2 fichiers ci-dessus. Si vous avez besoin d'utiliser d'autres modèles, êtes-vous prêt à le faire depuis le hub HuggingFace ?

Remarque : Si vous rencontrez des problèmes lors de la configuration des hyperparamètres pour les dimensions, consultez le fichier models config.json pour trouver des détails sur les dimensions du modèle que vous essayez d'utiliser.

Section 2 : Création d'une interface d'application consultable

Dans cette section, mon objectif est de créer une interface permettant aux utilisateurs d'interagir avec les documents. Je donne la priorité au design minimaliste sans poser d’obstacles supplémentaires.

4. Structure du projet

1. index.html : Page HTML frontale pour la saisie des requêtes de recherche.
2. app.py : application Flask qui sert le front-end et gère les requêtes de recherche.
3. search_engine.py : contient la logique pour la génération d'intégration, la recherche FAISS et la mise en évidence de mots clés.

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. Utilisation

1. Assurez-vous de disposer d'un index FAISS formé ( faiss_index.idx ) et d'un mappage qui l'accompagne de l'index au bloc de texte ( index_to_chunk.pkl ).
2. Démarrez l'application Flask :

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. Ouvrez un navigateur Web et accédez à http://localhost:5000 .
2. Saisissez une requête de recherche et observez le résultat contextuellement pertinent.

6. Choses à faire – pour des améliorations

Il y a toujours place à des améliorations. Voici quelques améliorations potentielles et fonctionnalités supplémentaires qui peuvent être intégrées :

1. Évolutivité : Actuellement, le système est conçu pour des corpus relativement petits. Envisagez de tirer parti de systèmes distribués ou de solutions basées sur le cloud pour gérer des ensembles de données plus volumineux.
2. Mise en surbrillance avancée : améliorez le système de mise en évidence de mots clés pour garantir que les expressions contextuellement pertinentes (et pas seulement des mots individuels) sont mises en évidence.
3. Boucle de rétroaction : intégrez un mécanisme de rétroaction des utilisateurs grâce auquel les utilisateurs peuvent évaluer la pertinence des résultats renvoyés. Cela peut être utilisé pour affiner les modèles à l’avenir.
4. Prise en charge de plusieurs types de documents : étendez la prise en charge de divers types de documents tels que PDF, DOCX, etc., permettant aux utilisateurs de rechercher dans différents formats.
5. Frontend amélioré : améliorez l'interface utilisateur, en intégrant peut-être des fonctionnalités avancées telles que la saisie semi-automatique, des suggestions de requêtes ou un affichage des résultats plus sophistiqué.
6. Prise en charge des recherches multilingues : étendez le système pour prendre en charge les requêtes dans plusieurs langues, en renvoyant les résultats d'un corpus multilingue.

7. Licence

Ce projet est sous licence MIT. N'hésitez pas à utiliser en citant, modifier, distribuer et contribuer. En savoir plus.

8. Contribuer

Si vous souhaitez améliorer ce projet, vos contributions sont les bienvenues ! Veuillez ouvrir une Pull Request ou un Issue sur ce référentiel. Je donne essentiellement la priorité aux choses ci-dessus à faire pour des améliorations. D’autres pull request seront également prises en compte mais moins prioritaires.

Merci d'avance pour votre intérêt. :heureux: .