context search engine

Motor de búsqueda de texto contextual utilizando datos vectoriales y FAISS

El objetivo principal de este proyecto es mostrar las capacidades de búsqueda vectorial proporcionando una interfaz fácil de usar que permita a los usuarios realizar búsquedas contextuales en un corpus de documentos de texto. Al aprovechar el poder de BERT de Hugging Face y FAISS de Facebook, devolvemos pasajes de texto altamente relevantes basados ​​en el significado semántico de la consulta del usuario en lugar de meras coincidencias de palabras clave. Este proyecto sirve como punto de partida para desarrolladores, investigadores y entusiastas que deseen profundizar en el mundo de la búsqueda de texto contextualizado y mejorar sus aplicaciones con técnicas de PNL de última generación.

Mi objetivo es asegurarme de que comprendamos la base de datos vectorial detrás de escena desde cero.

Captura de pantalla de la aplicación:

1. Requisitos previos

Para ejecutarlo en su sistema, puede instalar todos los paquetes necesarios a través de pip utilizando los archivos de requisitos:

pip install -r requirements.txt

Para su información, estoy usando Python 3.10.1.

Sin embargo, si tiene una GPU, se le solicita que instale FAISS GPU para integraciones de bases de datos más rápidas y más grandes.

2. Alcance del Proyecto

La versión actual de este proyecto abarca:

• Una interfaz web básica creada con Flask donde los usuarios pueden ingresar y enviar sus consultas de búsqueda.
• Un motor de búsqueda backend que:
  • Transforma las consultas de los usuarios en vectores semánticos utilizando Distil BERT.
  • Compara eficientemente el vector de consulta con un conjunto de vectores preindexados (correspondientes a documentos de texto) almacenados en un índice FAISS.
  • Devuelve el pasaje de texto del corpus más relevante contextualmente.
  • Resalta las palabras clave en el pasaje de texto devuelto que coinciden contextualmente.

Si bien el proyecto ofrece un sistema de búsqueda contextual funcional, está diseñado para ser modular, lo que permite una posible expansión e integración en sistemas o aplicaciones más grandes.

3. Explicación del enfoque general

La base de este proyecto radica en la creencia de que las técnicas modernas de PNL pueden ofrecer resultados de búsqueda mucho más precisos y contextualmente relevantes en comparación con los métodos tradicionales basados ​​en palabras clave. Aquí hay un desglose de nuestro enfoque:

1. Interfaz de usuario : la interfaz, construida con Flask, sirve como punto de interacción para los usuarios. Se mantiene simple e intuitivo.
2. Vectorización de consultas : cuando un usuario envía una consulta, el sistema backend la transforma en un vector semántico utilizando Distil BERT. Este vector encapsula el significado de la consulta.
3. Búsqueda con FAISS : FAISS, una biblioteca de búsqueda de similitudes eficiente, se utiliza para comparar rápidamente el vector de consulta con un índice preestablecido de vectores del corpus de texto. Se identifica la coincidencia más cercana, en términos de significado semántico.
4. Devolver resultados : una vez que se identifica el pasaje de texto más relevante, el sistema también resalta palabras clave o frases que coinciden contextualmente con la consulta del usuario, ofreciendo una pista visual al usuario sobre por qué un pasaje en particular se consideró relevante.
5. Refinamiento iterativo : los modelos y técnicas subyacentes están abiertos a mejoras basadas en investigaciones más recientes, comentarios de los usuarios y necesidades de aplicaciones específicas.

Según el enfoque, he dividido el proyecto en 2 secciones:

Sección 1: Generación de datos vectoriales con capacidad de búsqueda

En esta sección, primero leemos la entrada de los documentos, la dividimos en fragmentos más pequeños, creamos vectores usando el modelo basado en BERT y luego los almacenamos de manera eficiente usando FAISS. Aquí hay un diagrama de flujo que ilustra lo mismo.

Creamos un archivo de índice FAISS que contiene una representación vectorial del documento fragmentado. También almacenamos el índice de cada fragmento. Esto se mantiene para que no tengamos que consultar la base de datos/los documentos nuevamente. Esto nos ayuda a eliminar operaciones de lectura redundantes.

Realizamos esta sección usando create_index.py. Generará los 2 archivos anteriores. Si necesita utilizar otros modelos, ¿está abierto a hacerlo desde el centro HuggingFace?

Nota: Si encuentra problemas al configurar el hiperparámetro para la dimensión, consulte el archivo config.json de modelos para encontrar detalles sobre la dimensión del modelo que está intentando utilizar.

Sección 2: Creación de una interfaz de aplicación con capacidad de búsqueda

En esta sección, mi objetivo es crear una interfaz que permita a los usuarios interactuar con los documentos. Priorizo ​​el diseño minimalista sin causar obstáculos adicionales.

4. Estructura del proyecto

1. index.html : página HTML frontal para ingresar consultas de búsqueda.
2. app.py : aplicación Flask que sirve al front-end y maneja consultas de búsqueda.
3. search_engine.py : contiene lógica para incrustar generación, búsqueda FAISS y resaltado de palabras clave.

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. Uso

1. Asegúrese de tener un índice FAISS entrenado ( faiss_index.idx ) y un mapeo adjunto del índice al fragmento de texto ( index_to_chunk.pkl ).
2. Inicie la aplicación Flask:

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. Abra un navegador web y vaya a http://localhost:5000 .
2. Ingrese una consulta de búsqueda y observe el resultado contextualmente relevante.

6. Cosas que hacer para mejorar

Siempre hay espacio para mejoras. A continuación se muestran algunas mejoras potenciales y características adicionales que se pueden integrar:

1. Escalabilidad : actualmente, el sistema está diseñado para corpus relativamente más pequeños. Considere aprovechar sistemas distribuidos o soluciones basadas en la nube para manejar conjuntos de datos más grandes.
2. Resaltado avanzado : mejore el sistema de resaltado de palabras clave para garantizar que se resalten frases contextualmente relevantes (y no solo palabras individuales).
3. Bucle de retroalimentación : incorpore un mecanismo de retroalimentación de los usuarios donde los usuarios puedan calificar la relevancia de los resultados devueltos. Esto se puede utilizar para ajustar los modelos en el futuro.
4. Soporte para múltiples tipos de documentos : amplíe el soporte para varios tipos de documentos como PDF, DOCX, etc., permitiendo a los usuarios buscar en diferentes formatos.
5. Interfaz mejorada : mejore la interfaz de usuario, quizás integrando funciones avanzadas como autocompletar, sugerencias de consultas o una visualización de resultados más sofisticada.
6. Compatibilidad con búsquedas multilingües : amplíe el sistema para admitir consultas en varios idiomas y devolver resultados de un corpus multilingüe.

7. Licencia

Este proyecto está bajo la Licencia MIT. Siéntase libre de utilizarlo, citarlo, modificarlo, distribuirlo y contribuir. Leer más.

8. Contribuyendo

Si estás interesado en mejorar este proyecto, ¡tus contribuciones son bienvenidas! Abra una solicitud de extracción o un problema en este repositorio. Básicamente, estoy priorizando las cosas anteriores para mejorar. También se considerarán otras solicitudes de extracción, pero con menos prioridad.

Gracias de antemano por su interés. :feliz: .