皮塞里尼
pyserini-0.43.0
Pyserini 是一個 Python 工具包，用於具有稀疏和密集表示的可重複資訊檢索研究。透過與我們小組基於 Lucene 構建的 Anserini IR 工具包集成，可以使用稀疏表示進行檢索。透過與 Facebook 的 Faiss 庫集成，提供使用密集表示的檢索。
Pyserini 的主要設計目的是在多階段排名架構中提供有效、可重複且易於使用的第一階段檢索。我們的工具包是獨立的標準 Python 套件，並附帶針對許多常用 IR 測試集合的查詢、相關性判斷、預先建立索引和評估腳本。使用 Pyserini，可以輕鬆地在許多標準 IR 測試集合上重現運行！
有關更多詳細信息，我們在 SIGIR 2021 中的論文提供了很好的概述。
新的！ TREC 2024 RAG Track 的 MS MARCO 2.1 文件語料庫使用指南。
❗ Anserini 在提交272565 (2024/04/03) 處從 JDK 11 升級到 JDK 21，對應於 v0.35.0 的版本。相應地，Pyserini 在提交b2f677 (2024/04/04) 處升級到 JDK 21。
透過 PyPI 安裝：
pip install pyserini
Pyserini 建構於 Python 3.10（其他版本可能也可以，但 YMMV）和 Java 21（由於其依賴 Anserini）。 pip安裝將自動引入主要依賴項，例如 PyTorch、？ Transformer 和 ONNX 運作時。
該工具包還有許多可選的依賴項：
pip install 'pyserini[optional]'
值得注意的是， faiss-cpu 、 lightgbm和nmslib包含在這些可選依賴項中。這些軟體包的安裝可能會不穩定，這就是為什麼它們不包含在核心依賴項中的原因。自己單獨安裝這些可能是個好主意。
軟體生態系統正在快速發展，潛在的挫折感是不同版本的底層依賴項之間的不相容。我們在此處提供其他詳細的安裝說明。
如果您打算僅使用Pyserini，那麼pip指令（不含可選依賴項）應該沒問題。但是，如果您打算為程式碼庫做出貢獻或想要使用最新的尚未發布的功能，則需要進行開發安裝。此處提供了說明。
Pyserini 支援不同類型的檢索模型。請參閱本指南，以詳細了解如何使用我們已為您建立的索引來搜尋 IR 和 NLP 研究中的常見語料庫（例如 MS MARCO、NaturalQuestions、BEIR 等）。以下是該指南的直接連結：
一旦獲得前k 個結果，您實際上會想要取得文件文字...請參閱本指南以了解如何操作。
好吧，這取決於您想要使用哪種類型的檢索模型進行搜尋：
對於不同類別的模型，步驟有所不同：本指南（與上面的連結相同）描述了詳細資訊。
使用 Pyserini，可以輕鬆地在許多標準 IR 測試集合上重現運行！我們提供了許多預先建構的索引，直接支援「開箱即用」的可重複性。
在我們的 SIGIR 2022 論文中，我們引入了“雙擊複製”，允許任何人只需單擊兩次（即複製和貼上）即可複製實驗運行。文件被組織成不同語料庫的再現矩陣，提供不同實驗條件和查詢集的摘要：
有關更多詳細信息，請參閱我們關於在學術研究中建立可重複性文化的論文。
下面的其他複製指南提供了詳細的逐步說明。
| 語料庫 | 尺寸 | 校驗和 |
|---|---|---|
| MS MARCO V1 通道：uniCOIL (noexp) | 2.7GB | f17ddd8c7c00ff121c3c3b147d2e17d8 |
| MS MARCO V1 通道：uniCOIL (d2q-T5) | 3.4GB | 78eef752c78c8691f7d61600ceed306f |
| MS MARCO V1 文件：uniCOIL (noexp) | 11GB | 11b226e1cacd9c8ae0a660fd14cdd710 |
| MS MARCO V1 文件：uniCOIL (d2q-T5) | 19GB | 6a00e2c0c375cb1e52c83ae5ac377ebb |
| MS MARCO V2 通道：uniCOIL (noexp) | 24GB | d9cc1ed3049746e68a2c91bf90e5212d |
| MS MARCO V2 通道：uniCOIL (d2q-T5) | 41GB | 1949a00bfd5e1f1a230a04bbc1f01539 |
| MS MARCO V2 文件：uniCOIL (noexp) | 55GB | 97ba262c497164de1054f357caea0c63 |
| MS MARCO V2 文件：uniCOIL (d2q-T5) | 72GB | c5639748c2cbad0152e10b0ebde3b804 |
更多詳情：
33c87c ，2022/08/13 發布）是基於 Lucene 8 構建的最後一個 Pyserini 版本，基於 Anserini v0.14.4。此後，Anserini trunk升級到Lucene 9。5fab14 ，2022/09/26 發布）基於 Anserini v0.15.0 構建，使用 Lucene 9。說明：
有什麼影響？使用 Lucene 8 建立的索引與 Lucene 9 程式碼不完全相容（請參閱 Anserini #1952）。解決方法是停用一致的平局打破，如果 Pyserini 偵測到 Lucene 8 索引，這種情況會自動發生。但是，在 Lucene 8 索引上執行的 Lucene 9 程式碼將給出與在 Lucene 8 索引上執行的 Lucene 8 程式碼略有不同的結果。請注意，Lucene 8 程式碼無法讀取使用 Lucene 9 建構的索引。
為什麼這是必要的？雖然具有顛覆性，但為了利用 Lucene 的 HNSW 索引，升級到 Lucene 9 是必要的，這將增強 Pyserini 的功能並打開密集/稀疏混合的設計空間。
在 v0.11.0.0 及之前，Pyserini 版本採用了XYZW約定，其中XYZ追蹤 Anserini 的版本， W用於區分 Python 端的不同版本。從 Anserini v0.12.0 開始，Anserini 和 Pyserini 版本已解耦。
Anserini 設計用於與 JDK 11 配合使用。此問題已在 pyjnius 1.2.1（2019 年 12 月發布）中修復。此筆記本中記錄了先前的錯誤，並且此筆記本記錄了修復程序。
如果您使用 Pyserini，請引用以下論文：
@INPROCEEDINGS{Lin_etal_SIGIR2021_Pyserini,
author = "Jimmy Lin and Xueguang Ma and Sheng-Chieh Lin and Jheng-Hong Yang and Ronak Pradeep and Rodrigo Nogueira",
title = "{Pyserini}: A {Python} Toolkit for Reproducible Information Retrieval Research with Sparse and Dense Representations",
booktitle = "Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)",
year = 2021,
pages = "2356--2362",
}
這項研究主要得到加拿大自然科學與工程研究委員會（NSERC）的部分支持。
