Insurance Query engine

Используемая модель: «BAAI/bge-base-en-v1.5» с обнимающим лицом.

1. Настройка Qdrant с помощью Docker

Чтобы запустить Qdrant в контейнере Docker, выполните следующие действия:

Извлеките Docker-образ Qdrant:

docker pull qdrant/qdrant

Запустите контейнер Qdrant:

docker run -p 6333:6333 qdrant/qdrant

2. Установка необходимых библиотек

Прежде чем запускать какие-либо сценарии, убедитесь, что установлены все необходимые библиотеки Python:

pip install -r requirements.txt

3. Использование ingest.py

Скрипт ingest.py обрабатывает PDF-документ Insurance_Handbook.pdf, генерирует векторные вложения из текста и сохраняет эти вложения в векторной базе данных Qdrant.

Как это работает: Загрузить PDF: считывает содержимое указанного PDF-файла. Разделить текст: делит текст на управляемые фрагменты для создания вложений. Каждый фрагмент может слегка перекрываться для сохранения контекста. Генерировать внедрения: преобразует каждый текстовый фрагмент в векторное внедрение с использованием предварительно обученной модели. Сохранить в Qdrant: сохраняет сгенерированные внедрения и соответствующий им текст в векторной базе данных Qdrant. Использование: Запустите следующую команду для обработки и загрузки данных в Qdrant:

python ingest.py 

4. Использование app.py

Сценарий app.py используется для запроса векторной базы данных Qdrant для получения документов на основе запроса, предоставленного пользователем.

Как это работает: Внедрение запроса. Преобразует входной запрос в векторное внедрение, используя ту же модель, которая используется для внедрения документа. Поиск по сходству: сравнивает внедренные запросы с внедренными, сохраненными в Qdrant, чтобы найти наиболее похожие документы. Возврат результатов: извлекает и отображает наиболее совпадающие документы на основе показателей сходства. Использование: Чтобы начать запрос, выполните следующую команду:

python app.py

Убедитесь, что контейнер Qdrant запущен и данные были получены с помощью сценария ingest.py.