Insurance Query engine

El modelo utilizado es "BAAI/bge-base-en-v1.5" de la cara abrazada

1. Configurando Qdrant con Docker

Para ejecutar Qdrant en un contenedor Docker, siga estos pasos:

Extraiga la imagen de Qdrant Docker:

docker pull qdrant/qdrant

Ejecute el contenedor Qdrant:

docker run -p 6333:6333 qdrant/qdrant

2. Instalación de bibliotecas necesarias

Antes de ejecutar cualquier script, asegúrese de que todas las bibliotecas de Python necesarias estén instaladas:

pip install -r requirements.txt

3. Uso de ingest.py

El script ingest.py procesa el documento PDF Insurance_Handbook.pdf, genera incrustaciones de vectores a partir del texto y almacena estas incrustaciones en la base de datos de vectores de Qdrant.

Cómo funciona: Cargar el PDF: lee el contenido del archivo PDF especificado. Dividir el texto: divide el texto en fragmentos manejables para generar incrustaciones. Cada fragmento puede superponerse ligeramente para preservar el contexto. Generar incrustaciones: transforma cada fragmento de texto en una incrustación vectorial utilizando un modelo previamente entrenado. Almacenar en Qdrant: Almacena las incrustaciones generadas y su texto correspondiente en la base de datos vectorial de Qdrant. Uso: Ejecute el siguiente comando para procesar e ingerir datos en Qdrant:

python ingest.py 

4. Uso de aplicación.py

El script app.py se utiliza para consultar la base de datos vectorial Qdrant para recuperar documentos basados ​​en una consulta proporcionada por el usuario.

Cómo funciona: Incrustar la consulta: convierte la consulta de entrada en una incrustación vectorial utilizando el mismo modelo utilizado para las incrustaciones de documentos. Búsqueda de similitudes: compara la incorporación de consultas con las incorporaciones almacenadas en Qdrant para encontrar los documentos más similares. Devolver resultados: recupera y muestra los documentos más coincidentes según las puntuaciones de similitud. Uso: Ejecute el siguiente comando para comenzar a realizar consultas:

python app.py

Asegúrese de que el contenedor Qdrant se esté ejecutando y que los datos se hayan ingerido mediante el script ingest.py.