advanced ir search_engine

LISEZMOI

Un moteur de recherche de documents écrit de toutes pièces en Python. Basé sur les concepts du livre Introduction to Information Retrieval de Stanford.

Utilise la partie TREC8Adhoc de la collection TIPSTER pour la création et l'évaluation d'index. Vous devrez obtenir TREC8Adhoc.tar.bz2 de cette collection (disques 4 et 5) pour reproduire les résultats rapportés.

Pour évaluer les résultats avec trec_eval vous devrez télécharger les qrels ad hoc TREC-8.

Caractéristiques:

• Méthodes de construction d'index inversées : indexation simple en mémoire en un seul passage (SPIMI) et Map Reduction
• Métriques de similarité des documents : TF-IDF, BM25, BM25VA (lien PDF) et TF-IDF Cosine Distance
• Évaluation des performances sur TREC et reporting des résultats au format qrel.

Un des premiers ports de Rust est situé sur ir-search-engine-rust.

Conditions préalables

Ce projet nécessite au moins Python 3.6.

Installer les dépendances

pip install -r requirements.txt

Création d'index

Courir

Exécutez python cmd_index.py --help pour obtenir des instructions.

Exemple:

Pour créer un index et des statistiques de document à l'aide de la méthode SPIMI, exécutez : python cmd_index.py --document_folder=./data/TREC8all/Adhoc/ --index_file=spimi.index --stats_file=spimi.stats spimi

Sortir

Le script crée deux fichiers de sortie :

• index_file : index inversé
• stats_file : Statistiques du document collectées lors de la création de l'index (longueurs des documents et nombre de termes)

Format d'index

Le format du fichier d'index est basé sur du texte.

La première ligne indique le nombre de documents uniques dans l'index.

Chaque ligne consécutive représente un terme comprenant des données associées :

<TERM> <DOCUMENT_FREQUENCY> <POSTINGS>

• TERME - Le terme lui-même
• DOCUMENT_FREQUENCY - Fréquence des documents (Nombre de documents dans lesquels le terme apparaît)
• POSTINGS - Une liste de documents séparés par des virgules dans lesquels le terme apparaît ainsi que la fréquence du terme séparés par une barre verticale dans le document donné : <DOCUMENT_ID>|<TERM_FREQUENCY>,<DOCUMENT_ID>|<TERM_FREQUENCY>,...
• TERM_FREQUENCY - Nombre de fois que le terme apparaît dans le document correspondant

Évaluation

Courir

Exécutez python cmd_search.py --help pour obtenir des instructions.

Exemple:

Pour évaluer une liste de sujets sur un index SPIMI créé précédemment à l'aide d'un classement bm25, exécutez : python cmd_search.py --output_file=out.txt --run_name=dev --topics_file=./data/TREC8all/topicsTREC8Adhoc.txt --index_file=spimi.index --stats_file=spimi.stats bm25

Sortir

Le script crée un fichier de sortie qui peut être utilisé avec trec_eval , comme : trec_eval -q -m map -c ./data/TREC8all/qrels.trec8.adhoc.parts1-5 ./out.txt