皮塞里尼
pyserini-0.43.0
Pyserini 是一个 Python 工具包，用于具有稀疏和密集表示的可重复信息检索研究。通过与我们小组基于 Lucene 构建的 Anserini IR 工具包集成，可以使用稀疏表示进行检索。通过与 Facebook 的 Faiss 库集成，提供使用密集表示的检索。
Pyserini 的主要设计目的是在多阶段排名架构中提供有效、可重复且易于使用的第一阶段检索。我们的工具包是独立的标准 Python 包，并附带针对许多常用 IR 测试集合的查询、相关性判断、预构建索引和评估脚本。使用 Pyserini，可以轻松地在许多标准 IR 测试集合上重现运行！
有关更多详细信息，我们在 SIGIR 2021 中的论文提供了很好的概述。
新的！ TREC 2024 RAG Track 的 MS MARCO 2.1 文档语料库使用指南。
❗ Anserini 在提交272565 (2024/04/03) 处从 JDK 11 升级到 JDK 21，对应于 v0.35.0 的版本。相应地，Pyserini 在提交b2f677 (2024/04/04) 处升级到 JDK 21。
通过 PyPI 安装：
pip install pyserini
Pyserini 构建于 Python 3.10（其他版本可能也可以，但 YMMV）和 Java 21（由于其依赖于 Anserini）。 pip安装将自动引入主要依赖项，例如 PyTorch、？ Transformer 和 ONNX 运行时。
该工具包还有许多可选的依赖项：
pip install 'pyserini[optional]'
值得注意的是， faiss-cpu 、 lightgbm和nmslib包含在这些可选依赖项中。这些软件包的安装可能会不稳定，这就是为什么它们不包含在核心依赖项中的原因。自己单独安装这些可能是个好主意。
软件生态系统正在快速发展，潜在的挫败感是不同版本的底层依赖项之间的不兼容。我们在此处提供其他详细的安装说明。
如果您计划仅使用Pyserini，那么pip指令（不带可选依赖项）应该没问题。但是，如果您计划为代码库做出贡献或想要使用最新的尚未发布的功能，则需要进行开发安装。此处提供了说明。
Pyserini 支持不同类型的检索模型。请参阅本指南，详细了解如何使用我们已为您构建的索引来搜索 IR 和 NLP 研究中的常见语料库（例如 MS MARCO、NaturalQuestions、BEIR 等）。以下是该指南的直接链接：
一旦获得前k 个结果，您实际上会想要获取文档文本......请参阅本指南了解如何操作。
好吧，这取决于您想要使用哪种类型的检索模型进行搜索：
对于不同类别的模型，步骤有所不同：本指南（与上面的链接相同）描述了详细信息。
使用 Pyserini，可以轻松地在许多标准 IR 测试集合上重现运行！我们提供了许多预构建的索引，直接支持“开箱即用”的可重复性。
在我们的 SIGIR 2022 论文中，我们引入了“双击复制”，允许任何人只需单击两次（即复制和粘贴）即可复制实验运行。文档被组织成不同语料库的再现矩阵，提供不同实验条件和查询集的摘要：
有关更多详细信息，请参阅我们关于在学术研究中构建可重复性文化的论文。
下面的其他复制指南提供了详细的分步说明。
| 语料库 | 尺寸 | 校验和 |
|---|---|---|
| MS MARCO V1 通道：uniCOIL (noexp) | 2.7GB | f17ddd8c7c00ff121c3c3b147d2e17d8 |
| MS MARCO V1 通道：uniCOIL (d2q-T5) | 3.4GB | 78eef752c78c8691f7d61600ceed306f |
| MS MARCO V1 文档：uniCOIL (noexp) | 11GB | 11b226e1cacd9c8ae0a660fd14cdd710 |
| MS MARCO V1 文档：uniCOIL (d2q-T5) | 19GB | 6a00e2c0c375cb1e52c83ae5ac377ebb |
| MS MARCO V2 通道：uniCOIL (noexp) | 24GB | d9cc1ed3049746e68a2c91bf90e5212d |
| MS MARCO V2 通道：uniCOIL (d2q-T5) | 41GB | 1949a00bfd5e1f1a230a04bbc1f01539 |
| MS MARCO V2 文档：uniCOIL (noexp) | 55GB | 97ba262c497164de1054f357caea0c63 |
| MS MARCO V2 文档：uniCOIL (d2q-T5) | 72GB | c5639748c2cbad0152e10b0ebde3b804 |
更多详情：
33c87c ，2022/08/13 发布）是基于 Lucene 8 构建的最后一个 Pyserini 版本，基于 Anserini v0.14.4。此后，Anserini trunk升级到Lucene 9。5fab14 ，2022/09/26 发布）基于 Anserini v0.15.0 构建，使用 Lucene 9。此后，Pyserini trunk 升级到 Lucene 9。说明：
有什么影响？使用 Lucene 8 构建的索引与 Lucene 9 代码不完全兼容（请参阅 Anserini #1952）。解决方法是禁用一致的平局打破，如果 Pyserini 检测到 Lucene 8 索引，这种情况会自动发生。但是，在 Lucene 8 索引上运行的 Lucene 9 代码将给出与在 Lucene 8 索引上运行的 Lucene 8 代码略有不同的结果。请注意，Lucene 8 代码无法读取使用 Lucene 9 构建的索引。
为什么这是必要的？虽然具有颠覆性，但为了利用 Lucene 的 HNSW 索引，升级到 Lucene 9 是必要的，这将增强 Pyserini 的功能并打开密集/稀疏混合的设计空间。
在 v0.11.0.0 及之前，Pyserini 版本采用了XYZW约定，其中XYZ跟踪 Anserini 的版本， W用于区分 Python 端的不同版本。从 Anserini v0.12.0 开始，Anserini 和 Pyserini 版本已解耦。
Anserini 设计用于与 JDK 11 配合使用。JDK 9 之上的 JRE 路径更改破坏了 pyjnius 1.2.0，如本期所述，Anserini 中也有报告（此处和此处）。此问题已在 pyjnius 1.2.1（2019 年 12 月发布）中修复。此笔记本中记录了先前的错误，并且此笔记本记录了修复程序。
如果您使用 Pyserini，请引用以下论文：
@INPROCEEDINGS{Lin_etal_SIGIR2021_Pyserini,
author = "Jimmy Lin and Xueguang Ma and Sheng-Chieh Lin and Jheng-Hong Yang and Ronak Pradeep and Rodrigo Nogueira",
title = "{Pyserini}: A {Python} Toolkit for Reproducible Information Retrieval Research with Sparse and Dense Representations",
booktitle = "Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)",
year = 2021,
pages = "2356--2362",
}
这项研究主要得到加拿大自然科学与工程研究委员会（NSERC）的部分支持。
