Insurance Query engine

Le modèle utilisé est "BAAI/bge-base-en-v1.5" de hugging face

1. Configuration de Qdrant avec Docker

Pour exécuter Qdrant dans un conteneur Docker, suivez ces étapes :

Extrayez l'image Docker de Qdrant :

docker pull qdrant/qdrant

Exécutez le conteneur Qdrant :

docker run -p 6333:6333 qdrant/qdrant

2. Installation des bibliothèques requises

Avant d'exécuter des scripts, assurez-vous que toutes les bibliothèques Python requises sont installées :

pip install -r requirements.txt

3. Utilisation de ingest.py

Le script ingest.py traite le document PDF Insurance_Handbook.pdf, génère des intégrations vectorielles à partir du texte et stocke ces intégrations dans la base de données vectorielles Qdrant.

Comment ça marche : Charger le PDF : lit le contenu du fichier PDF spécifié. Diviser le texte : divise le texte en morceaux gérables pour générer des intégrations. Chaque morceau peut se chevaucher légèrement pour préserver le contexte. Générer des intégrations : transforme chaque morceau de texte en intégration vectorielle à l'aide d'un modèle pré-entraîné. Stocker dans Qdrant : stocke les intégrations générées et leur texte correspondant dans la base de données vectorielles Qdrant. Utilisation : exécutez la commande suivante pour traiter et ingérer des données dans Qdrant :

python ingest.py 

4. Utilisation de app.py

Le script app.py est utilisé pour interroger la base de données vectorielles Qdrant afin de récupérer des documents en fonction d'une requête fournie par l'utilisateur.

Comment ça marche : Incorporation de la requête : convertit la requête d'entrée en une intégration vectorielle en utilisant le même modèle que celui utilisé pour les intégrations de documents. Recherche de similarité : compare l'intégration de la requête avec les intégrations stockées dans Qdrant pour trouver les documents les plus similaires. Renvoi des résultats : récupère et affiche les principaux documents correspondants en fonction des scores de similarité. Utilisation : exécutez la commande suivante pour lancer l'interrogation :

python app.py

Assurez-vous que le conteneur Qdrant est en cours d'exécution et que les données ont été ingérées à l'aide du script ingest.py.