Information Retrieval Project

情報検索講座プロジェクト - 2021年秋期

binary search 、 tf-idf 、 word embeddingsなどのさまざまな検索モデルとアルゴリズムを使用してsearch engine実装します。また、 K-meansクラスタリングとKNNアルゴリズムを実装して検索を高速化します。

データセット

2 つのデータセットがあります。 1 つは 7,000 のニュース記事を含み、2 つ目はクラスタリングに使用される 50,000 のニュース記事を含みます。 2 番目のデータセットの記事にはカテゴリ ( sport 、 economy 、 politics 、 culture 、 health ) があり、これらはKNNで最初のデータセットの記事にラベルを付けるために使用されました。データセットはこのリポジトリにありません。

入力

まず、オプション 1 で逆インデックス モデルを作成するか、オプション 2 で以前のモデルをロードします。オプション 3 と 4 は、それぞれ Zipf 則と Heaps 則用です。オプション 5 は、kmeans モデルを初期化するためのものです (約 1 時間かかります)。オプション 6 は、より大きなデータセット (50,000 のニュース記事を含む) を使用して、小さなデータセット (7,000 のニュース記事を含む) にラベルを付けるためのものです。

検索

2 番目の入力として、検索に使用するモデル (単純なbinaryモデル、 tf-idfモデル、 word2vecモデル、 k-meansモデル、またはKNNの間) を選択し、クエリを作成する必要があります。

出力

上位 5 件の検索結果とそのスコアが表示されます。