advanced ir search_engine

README

Eine von Grund auf in Python geschriebene Dokumentensuchmaschine. Basierend auf Konzepten aus Stanfords „Introduction to Information Retrieval Book“.

Verwendet den TREC8Adhoc-Teil der TIPSTER-Sammlung zur Indexerstellung und -auswertung. Sie müssen TREC8Adhoc.tar.bz2 aus dieser Sammlung (Datenträger 4 und 5) beziehen, um die gemeldeten Ergebnisse zu reproduzieren.

Um die Ergebnisse mit trec_eval auszuwerten, müssen Sie die TREC-8-Ad-hoc-Qrels herunterladen.

Merkmale:

• Invertierte Indexkonstruktionsmethoden: Einfache Single-Pass-In-Memory-Indizierung (SPIMI) und Map Reduce
• Dokumentähnlichkeitsmetriken: TF-IDF, BM25, BM25VA (PDF-Link) und TF-IDF-Kosinusabstand
• Leistungsbewertung auf TREC und Ergebnisberichterstattung im qrel-Format.

Ein früher Rust-Port befindet sich unter ir-search-engine-rust.

Voraussetzungen

Dieses Projekt erfordert mindestens Python 3.6.

Abhängigkeiten installieren

pip install -r requirements.txt

Indexerstellung

Laufen

Führen Sie python cmd_index.py --help aus, um Anweisungen zu erhalten.

Beispiel:

Um mit der SPIMI-Methode einen Index und Dokumentstatistiken zu erstellen, führen Sie Folgendes aus: python cmd_index.py --document_folder=./data/TREC8all/Adhoc/ --index_file=spimi.index --stats_file=spimi.stats spimi

Ausgabe

Das Skript erstellt zwei Ausgabedateien:

• index_file : Invertierter Index
• stats_file : Dokumentstatistiken, die während der Indexerstellung erfasst werden (Dokumentlängen und Termanzahl)

Indexformat

Das Indexdateiformat ist textbasiert.

Die erste Zeile gibt die Anzahl der eindeutigen Dokumente im Index an.

Jede aufeinanderfolgende Zeile stellt einen Begriff einschließlich zugehöriger Daten dar:

<TERM> <DOCUMENT_FREQUENCY> <POSTINGS>

• BEGRIFF – Der Begriff selbst
• DOCUMENT_FREQUENCY – Dokumenthäufigkeit (Anzahl der Dokumente, in denen der Begriff vorkommt)
• POSTINGS – Eine durch Kommas getrennte Liste von Dokumenten, in denen der Begriff vorkommt, zusammen mit der Häufigkeit des Begriffs, getrennt durch Pipe im angegebenen Dokument: <DOCUMENT_ID>|<TERM_FREQUENCY>,<DOCUMENT_ID>|<TERM_FREQUENCY>,...
• TERM_FREQUENCY – Häufigkeit, mit der der Begriff im entsprechenden Dokument vorkommt

Auswertung

Laufen

Führen Sie python cmd_search.py --help aus, um Anweisungen zu erhalten.

Beispiel:

Um eine Themenliste für einen zuvor erstellten SPIMI-Index anhand eines BM25-Rankings auszuwerten, führen Sie Folgendes aus: python cmd_search.py --output_file=out.txt --run_name=dev --topics_file=./data/TREC8all/topicsTREC8Adhoc.txt --index_file=spimi.index --stats_file=spimi.stats bm25

Ausgabe

Das Skript erstellt eine Ausgabedatei, die mit trec_eval verwendet werden kann, etwa: trec_eval -q -m map -c ./data/TREC8all/qrels.trec8.adhoc.parts1-5 ./out.txt