advanced ir search_engine

ЧИТАЙТЕ

Система поиска документов, написанная с нуля на Python. На основе концепций из Стэнфордской книги «Введение в поиск информации».

Использует часть TREC8Adhoc коллекции TIPSTER для построения и оценки индекса. Вам потребуется получить TREC8Adhoc.tar.bz2 из этой коллекции (диски 4 и 5), чтобы воспроизвести полученные результаты.

Чтобы оценить результаты с помощью trec_eval вам необходимо загрузить специальные qrels TREC-8.

Функции:

• Методы построения инвертированного индекса: простое, однопроходное индексирование в памяти (SPIMI) и сокращение карты.
• Показатели сходства документов: TF-IDF, BM25, BM25VA (ссылка PDF) и TF-IDF косинусное расстояние.
• Оценка эффективности TREC и отчет о результатах в формате qrel.

Ранний порт Rust находится по адресу ir-search-engine-rust.

Предварительные условия

Для этого проекта требуется как минимум Python 3.6.

Установить зависимости

pip install -r requirements.txt

Создание индекса

Бегать

Запустите python cmd_index.py --help для получения инструкций.

Пример:

Чтобы создать индекс и статистику документа с помощью метода SPIMI, запустите: python cmd_index.py --document_folder=./data/TREC8all/Adhoc/ --index_file=spimi.index --stats_file=spimi.stats spimi

Выход

Скрипт создает два выходных файла:

• index_file : инвертированный индекс
• stats_file : статистика документа, собранная во время создания индекса (длина документа и количество терминов).

Формат индекса

Формат индексного файла является текстовым.

В первой строке указывается количество уникальных документов в индексе.

Каждая последовательная строка представляет термин, включая связанные данные:

<TERM> <DOCUMENT_FREQUENCY> <POSTINGS>

• ТЕРМИН - Сам термин
• DOCUMENT_FREQUENCY – частота документов (количество документов, в которых встречается термин).
• POSTINGS – разделенный запятыми список документов, в которых термин появляется вместе с частотой термина, разделенной вертикальной чертой в данном документе: <DOCUMENT_ID>|<TERM_FREQUENCY>,<DOCUMENT_ID>|<TERM_FREQUENCY>,...
• TERM_FREQUENCY — количество раз, когда термин появляется в соответствующем документе.

Оценка

Бегать

Запустите python cmd_search.py --help для получения инструкций.

Пример:

Чтобы оценить список тем по ранее созданному индексу SPIMI с использованием рейтинга bm25, запустите: python cmd_search.py --output_file=out.txt --run_name=dev --topics_file=./data/TREC8all/topicsTREC8Adhoc.txt --index_file=spimi.index --stats_file=spimi.stats bm25

Выход

Скрипт создает выходной файл, который можно использовать с trec_eval , например: trec_eval -q -m map -c ./data/TREC8all/qrels.trec8.adhoc.parts1-5 ./out.txt