context search engine

Система контекстного текстового поиска с использованием векторных данных и FAISS

Основная цель этого проекта — продемонстрировать возможности векторного поиска путем предоставления удобного интерфейса, который позволяет пользователям выполнять контекстный поиск в корпусе текстовых документов. Используя возможности BERT Hugging Face и FAISS Facebook, мы возвращаем очень релевантные отрывки текста, основанные на семантическом значении запроса пользователя, а не просто на совпадении ключевых слов. Этот проект служит отправной точкой для разработчиков, исследователей и энтузиастов, которые хотят глубже погрузиться в мир контекстуализированного текстового поиска и улучшить свои приложения с помощью современных методов НЛП.

Моя цель — обеспечить понимание векторной базы данных с нуля.

Снимок экрана приложения:

1. Предварительные условия

Для запуска в вашей системе вы можете установить все необходимые пакеты через pip, используя файлы требований:

pip install -r requirements.txt

К вашему сведению, я использую Python 3.10.1.

Однако, если у вас есть графический процессор, вам будет предложено установить графический процессор FAISS для более быстрой и масштабной интеграции баз данных.

2. Масштаб проекта

Текущая версия проекта включает в себя:

• Базовый веб-интерфейс, созданный с использованием Flask, где пользователи могут вводить и отправлять свои поисковые запросы.
• Внутренняя поисковая система, которая:
  • Преобразует пользовательские запросы в семантические векторы с помощью Distil BERT.
  • Эффективно сравнивает вектор запроса с предварительно индексированным набором векторов (соответствующих текстовым документам), хранящимся в индексе FAISS.
  • Возвращает наиболее контекстуально релевантный фрагмент текста из корпуса.
  • Выделяет ключевые слова в возвращаемом фрагменте текста, которые соответствуют контексту.

Хотя проект предлагает функциональную систему контекстного поиска, он спроектирован как модульный, что позволяет потенциально расширять и интегрировать его в более крупные системы или приложения.

3. Объяснение общего подхода

В основе этого проекта лежит вера в то, что современные методы НЛП могут предложить гораздо более точные и контекстуально релевантные результаты поиска по сравнению с традиционными методами, основанными на ключевых словах. Вот разбивка нашего подхода:

1. Пользовательский интерфейс : интерфейс, созданный с использованием Flask, служит точкой взаимодействия для пользователей. Он остается простым и интуитивно понятным.
2. Векторизация запроса : когда пользователь отправляет запрос, серверная система преобразует его в семантический вектор с помощью Distil BERT. Этот вектор инкапсулирует смысл запроса.
3. Поиск с помощью FAISS : FAISS, эффективная библиотека поиска по сходству, используется для быстрого сравнения вектора запроса с заранее установленным индексом векторов из текстового корпуса. Выявляется наиболее близкое совпадение по смысловому значению.
4. Возврат результатов : как только наиболее релевантный отрывок текста определен, система также выделяет ключевые слова или фразы, которые контекстуально соответствуют запросу пользователя, предлагая пользователю визуальную подсказку о том, почему конкретный отрывок считается релевантным.
5. Итеративное усовершенствование . Базовые модели и методы открыты для усовершенствований на основе новых исследований, отзывов пользователей и потребностей конкретных приложений.

Исходя из подхода, я разделил проект на 2 раздела:

Раздел 1. Генерация векторных данных с возможностью поиска

В этом разделе мы сначала читаем входные данные из документов, разбиваем их на более мелкие фрагменты, создаем векторы с использованием модели на основе BERT, а затем эффективно сохраняем их с помощью FAISS. Вот блок-схема, которая иллюстрирует то же самое.

Мы создаем индексный файл FAISS, который содержит векторное представление разбитого на части документа. Мы также храним индекс каждого фрагмента. Это сделано для того, чтобы нам не приходилось снова запрашивать базу данных/документы. Это помогает нам удалить избыточные операции чтения.

Мы выполняем этот раздел, используя create_index.py. Он сгенерирует вышеуказанные 2 файла. Если вам нужно использовать другие модели, вы можете сделать это через HuggingFace Hub?

Примечание. Если вы обнаружите проблемы при настройке гиперпараметра для измерения, проверьте файл config.json модели, чтобы найти подробную информацию об измерении модели, которую вы пытаетесь использовать.

Раздел 2. Создание интерфейса приложения с возможностью поиска

В этом разделе моя цель — создать интерфейс, который позволит пользователям взаимодействовать с документами. Я отдаю предпочтение минималистичному дизайну, не создавая дополнительных препятствий.

4. Структура проекта

1. index.html : интерфейсная HTML-страница для ввода поисковых запросов.
2. app.py : приложение Flask, которое обслуживает внешний интерфейс и обрабатывает поисковые запросы.
3. search_engine.py : содержит логику для генерации встраивания, поиска FAISS и выделения ключевых слов.

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. Использование

1. Убедитесь, что у вас есть обученный индекс FAISS ( faiss_index.idx ) и сопутствующее сопоставление индекса с текстовым фрагментом ( index_to_chunk.pkl ).
2. Запустите приложение Flask:

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. Откройте веб-браузер и перейдите по адресу http://localhost:5000 .
2. Введите поисковый запрос и просмотрите контекстно релевантный результат.

6. Что нужно сделать – для улучшений

Всегда есть место для улучшений. Вот некоторые потенциальные улучшения и дополнительные функции, которые можно интегрировать:

1. Масштабируемость : в настоящее время система создана для относительно небольших корпораций. Рассмотрите возможность использования распределенных систем или облачных решений для обработки больших наборов данных.
2. Расширенное выделение : улучшите систему выделения ключевых слов, чтобы обеспечить выделение контекстуально релевантных фраз (а не только отдельных слов).
3. Цикл обратной связи . Включите механизм обратной связи с пользователем, позволяющий пользователям оценивать релевантность возвращаемых результатов. Это можно будет использовать для более точной настройки моделей в будущем.
4. Поддержка нескольких типов документов . Расширьте поддержку различных типов документов, таких как PDF, DOCX и т. д., позволяя пользователям выполнять поиск в разных форматах.
5. Улучшенный интерфейс : улучшите пользовательский интерфейс, возможно, интегрируя расширенные функции, такие как автозаполнение, предложения запросов или более сложное отображение результатов.
6. Поддержка многоязычного поиска . Расширьте систему для поддержки запросов на нескольких языках, возвращая результаты из многоязычного корпуса.

7. Лицензия

Этот проект находится под лицензией MIT. Не стесняйтесь использовать, цитируя, изменяя, распространяя и внося свой вклад. Читать далее.

8. Вклад

Если вы заинтересованы в улучшении этого проекта, ваш вклад приветствуется! Пожалуйста, откройте запрос на включение или проблему в этом репозитории. По сути, я отдаю предпочтение вышеуказанным вещам, которые необходимо сделать для улучшения. Другие запросы на включение также будут рассмотрены, но им не будет придаваться приоритета.

Заранее спасибо за ваш интерес. :счастливый: .