Explore RAG

Методы извлечения RAG

Этот проект демонстрирует различные методы поиска документов с использованием Python. Реализованные методы включают HyDe, Basic, взаимное объединение рангов (RRF), объединенное извлечение и разложение подзапроса (SQD). В проекте используется Streamlit для пользовательского интерфейса и различные библиотеки для обработки и поиска документов.

Оглавление

• Установка
• Использование
• Методы поиска
  • ХайДе
  • Базовый
  • СБР
  • Слияние
  • Декомпозиция подзапроса
• Содействие
• Лицензия

Установка

1. Клонируем репозиторий:

   git clone https://github.com/yourusername/yourrepository.git
   cd yourrepository

2. Установите необходимые зависимости:

   pip install -r requirements.txt

Использование

1. Запустите приложение Streamlit:

   streamlit run app.py

2. Загрузите PDF-файл с помощью боковой панели.

3. Выберите метод поиска на боковой панели.

4. Введите запрос в поле ввода текста и просмотрите полученные документы.

Методы поиска

ХайДе

Поиск HyDe (гипотетический документ) генерирует гипотетический документ на основе запроса и извлекает аналогичные документы.

Базовый

Базовый поиск использует простой поиск по сходству для получения документов на основе запроса.

СБР

Reciprocal Rank Fusion (RRF) объединяет результаты нескольких алгоритмов поиска для повышения общей производительности поиска.

Слияние

Fusion-поиск сочетает в себе векторный поиск и результаты поиска BM25 с использованием взвешенной суммы для извлечения наиболее релевантных документов.

Декомпозиция подзапроса

Разложение подзапроса (SQD) — это метод, который разбивает запрос на подзапросы и извлекает документы на основе подзапросов.

Содействие

Вклады приветствуются! Пожалуйста, откройте проблему или отправьте запрос на внесение изменений или исправлений ошибок.

Лицензия

Этот проект лицензируется по лицензии MIT. Дополнительные сведения см. в файле LICENSE .