advanced ir search_engine

お読みください

Python で最初から書かれたドキュメント検索エンジン。スタンフォードの『情報検索入門』の概念に基づいています。

TIPSTER コレクションの TREC8Adhoc 部分をインデックスの構築と評価に使用します。報告された結果を再現するには、このコレクション (ディスク 4 および 5) からTREC8Adhoc.tar.bz2取得する必要があります。

trec_evalを使用して結果を評価するには、TREC-8 アドホック Qrel をダウンロードする必要があります。

特徴：

• 逆インデックス構築方法: シンプルなシングルパスのメモリ内インデックス作成 (SPIMI) および Map Reduce
• ドキュメント類似性メトリクス: TF-IDF、BM25、BM25VA (PDF リンク) および TF-IDF コサイン距離
• TREC のパフォーマンス評価と qrel 形式での結果レポート。

初期の Rust ポートは ir-search-engine-rust にあります。

前提条件

このプロジェクトには少なくとも Python 3.6 が必要です。

依存関係のインストール

pip install -r requirements.txt

インデックスの作成

走る

手順については、 python cmd_index.py --helpを実行してください。

例：

SPIMI メソッドを使用してインデックスとドキュメント統計を作成するには、次を実行します: python cmd_index.py --document_folder=./data/TREC8all/Adhoc/ --index_file=spimi.index --stats_file=spimi.stats spimi

出力

スクリプトは 2 つの出力ファイルを作成します。

• index_file : 転置インデックス
• stats_file : インデックス作成中に収集されたドキュメント統計 (ドキュメントの長さと用語数)

インデックス形式

インデックス ファイルの形式はテキストベースです。

最初の行には、インデックス内の固有のドキュメントの数が示されます。

連続する各行は、関連データを含む用語を表します。

<TERM> <DOCUMENT_FREQUENCY> <POSTINGS>

• TERM - 用語自体
• DOCUMENT_FREQUENCY - ドキュメントの頻度 (用語が出現するドキュメントの数)
• POSTINGS - 用語が出現するドキュメントのカンマ区切りのリスト。指定されたドキュメント内でパイプで区切られた用語頻度とともに表示されます: <DOCUMENT_ID>|<TERM_FREQUENCY>,<DOCUMENT_ID>|<TERM_FREQUENCY>,...
• TERM_FREQUENCY - 対応するドキュメント内で用語が出現する回数

評価

走る

手順については、 python cmd_search.py --helpを実行してください。

例：

bm25 ランキングを使用して、以前に作成した SPIMI インデックスのトピック リストを評価するには、次を実行します: python cmd_search.py --output_file=out.txt --run_name=dev --topics_file=./data/TREC8all/topicsTREC8Adhoc.txt --index_file=spimi.index --stats_file=spimi.stats bm25

出力

このスクリプトは、 trec_eval -q -m map -c ./data/TREC8all/qrels.trec8.adhoc.parts1-5 ./out.txtのように、 trec_evalで使用できる出力ファイルを作成します。