ピセリニ
pyserini-0.43.0
Pyserini は、疎表現と密表現を使用した再現可能な情報検索研究のための Python ツールキットです。スパース表現を使用した検索は、Lucene 上に構築された当社グループの Anserini IR ツールキットとの統合によって提供されます。密な表現を使用した検索は、Facebook の Faiss ライブラリとの統合によって提供されます。
Pyserini は主に、多段階のランキング アーキテクチャで効果的で再現可能で使いやすい第 1 段階の取得を提供するように設計されています。当社のツールキットは標準の Python パッケージとして自己完結型であり、一般的に使用される多くの IR テスト コレクション用のクエリ、関連性の判断、事前構築されたインデックス、評価スクリプトが付属しています。 Pyserini を使用すると、多数の標準 IR テスト コレクションでの実行を簡単に再現できます。
詳細については、SIGIR 2021 の論文で概要を説明しています。
新しい！ TREC 2024 RAG Track の MS MARCO 2.1 ドキュメント コーパスを使用するためのガイド。
❗ Anserini はコミット272565 (2024/04/03) で JDK 11 から JDK 21 にアップグレードされました。これは v0.35.0 のリリースに対応します。これに対応して、Pyserini はコミットb2f677 (2024/04/04) で JDK 21 にアップグレードされました。
PyPI 経由でインストールします。
pip install pyserini
Pyserini は、Python 3.10 (他のバージョンも動作する可能性がありますが、YMMV) および Java 21 (Anserini への依存関係のため) に基づいて構築されています。 pipインストールでは、PyTorch などの主要な依存関係が自動的に取り込まれます。トランスフォーマーと ONNX ランタイム。
ツールキットには、オプションの依存関係も多数あります。
pip install 'pyserini[optional]'
特に、 faiss-cpu 、 lightgbm 、およびnmslibこれらのオプションの依存関係に含まれています。これらのパッケージのインストールは一時的に不安定になる可能性があるため、これらのパッケージはコアの依存関係に含まれていません。これらを自分で個別にインストールすることをお勧めします。
ソフトウェア エコシステムは急速に進化しており、潜在的なフラストレーションの原因は、基礎となる依存関係の異なるバージョン間の非互換性です。ここでは、追加の詳細なインストール手順を提供します。
Pyserini のみを使用することを計画している場合は、 pip命令 (オプションの依存関係なし) で問題ありません。ただし、コードベースに貢献する予定がある場合、またはまだリリースされていない最新の機能を使用したい場合は、開発用インストールが必要です。手順はここに記載されています。
Pyserini は、さまざまなタイプの取得モデルをサポートしています。すでに構築されているインデックスを使用して、IR および NLP 研究で一般的なコーパス (MS MARCO、NaturalQuestions、BEIR など) を検索する方法の詳細については、このガイドを参照してください。ガイドへの直接リンクは次のとおりです。
上位k 件の結果を取得したら、実際にドキュメント テキストをフェッチしたいと思うでしょう...その方法については、このガイドを参照してください。
まあ、それはどのタイプの検索モデルで検索したいかによって異なります。
手順はモデルのクラスによって異なります。このガイド (上記のリンクと同じ) で詳細が説明されています。
Pyserini を使用すると、多数の標準 IR テスト コレクションでの実行を簡単に再現できます。 「すぐに使える」再現性を直接サポートする、事前に構築されたインデックスが多数提供されています。
SIGIR 2022 の論文では、誰でもたった 2 回のクリック (つまり、コピーとペースト) で実験実行を再現できる「2 クリック再現」を導入しました。ドキュメントは、さまざまな実験条件とクエリ セットの概要を提供するさまざまなコーパスの再現マトリックスに編成されています。
詳細については、学術研究における再現性の文化の構築に関する論文を参照してください。
以下の追加の再現ガイドでは、詳細な手順が説明されています。
| コーパス | サイズ | チェックサム |
|---|---|---|
| MS MARCO V1 パッセージ: uniCOIL (noexp) | 2.7GB | f17ddd8c7c00ff121c3c3b147d2e17d8 |
| MS MARCO V1 通路: uniCOIL (d2q-T5) | 3.4GB | 78eef752c78c8691f7d61600ceed306f |
| MS MARCO V1 ドキュメント: uniCOIL (noexp) | 11GB | 11b226e1cacd9c8ae0a660fd14cdd710 |
| MS MARCO V1 ドキュメント: uniCOIL (d2q-T5) | 19GB | 6a00e2c0c375cb1e52c83ae5ac377ebb |
| MS MARCO V2 パッセージ: uniCOIL (noexp) | 24GB | d9cc1ed3049746e68a2c91bf90e5212d |
| MS マルコ V2 通路: uniCOIL (d2q-T5) | 41GB | 1949a00bfd5e1f1a230a04bbc1f01539 |
| MS MARCO V2 ドキュメント: uniCOIL (noexp) | 55GB | 97ba262c497164de1054f357caea0c63 |
| MS MARCO V2 ドキュメント: uniCOIL (d2q-T5) | 72GB | c5639748c2cbad0152e10b0ebde3b804 |
詳細:
33c87c 、2022/08/13 リリース) は、Anserini v0.14.4 に基づいて Lucene 8 上に構築された最後の Pyserini リリースです。その後、Anserini トランクは Lucene 9 にアップグレードされました。5fab14 、2022/09/26 リリース) は、Lucene 9 を使用して Anserini v0.15.0 上に構築されています。その後、Pyserini トランクは Lucene 9 に進化しました。説明:
影響は何ですか? Lucene 8 で構築されたインデックスは、Lucene 9 コードと完全には互換性がありません (Anserini #1952 を参照)。回避策は、一貫したタイブレークを無効にすることです。これは、Lucene 8 インデックスが Pyserini によって検出された場合に自動的に行われます。ただし、Lucene 8 インデックス上で実行される Lucene 9 コードは、Lucene 8 インデックス上で実行される Lucene 8 コードとは若干異なる結果になります。 Lucene 8 コードは Lucene 9 で構築されたインデックスを読み取ることができないことに注意してください。
なぜこれが必要なのでしょうか?破壊的ではありますが、Lucene の HNSW インデックスを利用するには Lucene 9 へのアップグレードが必要です。これにより、Pyserini の機能が向上し、密/疎ハイブリッドの設計スペースが広がります。
v0.11.0.0 以前では、Pyserini のバージョンはXYZWの規則を採用していました。XYZはAnserini のバージョンを追跡し、 W はPython 側で異なるリリースを区別するために使用されます。 Anserini v0.12.0 以降、Anserini と Pyserini のバージョンは分離されました。
Anserini は JDK 11 で動作するように設計されています。この問題に記載されているように、JDK 9 以降では pyjnius 1.2.0 を破壊する JRE パスの変更があり、Anserini のこことここでも報告されています。この問題は pyjnius 1.2.1 (2019 年 12 月リリース) で修正されました。以前のエラーはこのノートブックに文書化されており、このノートブックには修正が文書化されています。
Pyserini を使用する場合は、次の論文を引用してください。
@INPROCEEDINGS{Lin_etal_SIGIR2021_Pyserini,
author = "Jimmy Lin and Xueguang Ma and Sheng-Chieh Lin and Jheng-Hong Yang and Ronak Pradeep and Rodrigo Nogueira",
title = "{Pyserini}: A {Python} Toolkit for Reproducible Information Retrieval Research with Sparse and Dense Representations",
booktitle = "Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)",
year = 2021,
pages = "2356--2362",
}
この研究は主にカナダの自然科学工学研究評議会 (NSERC) によって部分的に支援されています。
