pyserini
pyserini-0.43.0
Pyserini adalah perangkat Python untuk penelitian pengambilan informasi yang dapat direproduksi dengan representasi yang jarang dan padat. Pengambilan menggunakan representasi renggang disediakan melalui integrasi dengan perangkat IR Anserini grup kami, yang dibangun di Lucene. Pengambilan menggunakan representasi padat disediakan melalui integrasi dengan perpustakaan Faiss Facebook.
Pyserini terutama dirancang untuk menyediakan pengambilan tahap pertama yang efektif, dapat direproduksi, dan mudah digunakan dalam arsitektur pemeringkatan multitahap. Toolkit kami mandiri sebagai paket Python standar dan dilengkapi dengan kueri, penilaian relevansi, indeks bawaan, dan skrip evaluasi untuk banyak koleksi pengujian IR yang umum digunakan. Dengan Pyserini, mudah untuk mereproduksi proses pada sejumlah koleksi pengujian IR standar!
Untuk lebih jelasnya, makalah kami di SIGIR 2021 memberikan gambaran yang bagus.
Baru! Panduan untuk bekerja dengan Corpus Dokumen MS MARCO 2.1 untuk TREC 2024 RAG Track.
❗ Anserini ditingkatkan dari JDK 11 ke JDK 21 pada commit 272565 (2024/04/03), yang sesuai dengan rilis v0.35.0. Sejalan dengan itu, Pyserini ditingkatkan ke JDK 21 pada penerapan b2f677 (2024/04/04).
Instal melalui PyPI:
pip install pyserini
Pyserini dibuat dengan Python 3.10 (versi lain mungkin berfungsi, tetapi YMMV) dan Java 21 (karena ketergantungannya pada Anserini). Instalasi pip akan secara otomatis menarik dependensi utama seperti PyTorch, ? Transformers, dan Runtime ONNX.
Toolkit ini juga memiliki sejumlah dependensi opsional:
pip install 'pyserini[optional]'
Khususnya, faiss-cpu , lightgbm , dan nmslib disertakan dalam dependensi opsional ini. Instalasi paket-paket ini bisa bersifat temperamental, itulah sebabnya paket-paket ini tidak disertakan dalam dependensi inti. Mungkin ada baiknya Anda menginstalnya sendiri secara terpisah.
Ekosistem perangkat lunak berkembang pesat dan sumber frustrasi yang potensial adalah ketidakcocokan antar versi ketergantungan yang mendasarinya. Kami memberikan petunjuk instalasi tambahan yang terperinci di sini.
Jika Anda berencana hanya menggunakan Pyserini, maka instruksi pip (tanpa dependensi opsional) akan baik-baik saja. Namun, jika Anda berencana berkontribusi pada basis kode atau ingin bekerja dengan fitur terbaru yang belum dirilis, Anda memerlukan instalasi pengembangan. Petunjuk disediakan di sini.
Pyserini mendukung berbagai jenis model pengambilan. Lihat panduan ini untuk mengetahui detail tentang cara mencari korpora umum dalam penelitian IR dan NLP (misalnya, MS MARCO, NaturalQuestions, BEIR, dll.) menggunakan indeks yang telah kami buat untuk Anda. Berikut ini tautan langsung ke panduan ini:
Setelah Anda mendapatkan hasil teratas , Anda sebenarnya ingin mengambil teks dokumen... Lihat panduan ini untuk mengetahui caranya.
Itu tergantung pada jenis model pengambilan yang ingin Anda gunakan untuk mencari:
Langkah-langkahnya berbeda untuk kelas model yang berbeda: panduan ini (sama seperti tautan di atas) menjelaskan detailnya.
Dengan Pyserini, mudah untuk mereproduksi proses pada sejumlah koleksi pengujian IR standar! Kami menyediakan sejumlah indeks bawaan yang secara langsung mendukung reproduktifitas "out of the box".
Dalam makalah SIGIR 2022 kami, kami memperkenalkan "reproduksi dua klik" yang memungkinkan siapa pun mereproduksi proses eksperimental hanya dengan dua klik (yaitu, salin dan tempel). Dokumentasi disusun ke dalam matriks reproduksi untuk korpora berbeda yang memberikan ringkasan kondisi eksperimen dan kumpulan kueri yang berbeda:
Untuk lebih jelasnya, lihat makalah kami tentang Membangun Budaya Reproduksibilitas dalam Penelitian Akademik.
Panduan reproduksi tambahan di bawah ini memberikan petunjuk langkah demi langkah yang terperinci.
| Korpora | Ukuran | Jumlah pemeriksaan |
|---|---|---|
| Bagian MS MARCO V1: uniCOIL (noexp) | 2,7 GB | f17ddd8c7c00ff121c3c3b147d2e17d8 |
| Bagian MS MARCO V1: uniCOIL (d2q-T5) | 3,4 GB | 78eef752c78c8691f7d61600ceed306f |
| Dokumen MS MARCO V1: uniCOIL (noexp) | 11 GB | 11b226e1cacd9c8ae0a660fd14cdd710 |
| Dokumen MS MARCO V1: uniCOIL (d2q-T5) | 19GB | 6a00e2c0c375cb1e52c83ae5ac377ebb |
| Bagian MS MARCO V2: uniCOIL (noexp) | 24 GB | d9cc1ed3049746e68a2c91bf90e5212d |
| Bagian MS MARCO V2: uniCOIL (d2q-T5) | 41 GB | 1949a00bfd5e1f1a230a04bbc1f01539 |
| Dokumen MS MARCO V2: uniCOIL (noexp) | 55 GB | 97ba262c497164de1054f357caea0c63 |
| Dokumen MS MARCO V2: uniCOIL (d2q-T5) | 72 GB | c5639748c2cbad0152e10b0ebde3b804 |
Lebih detailnya:
33c87c , dirilis 13/08/2022) adalah rilis Pyserini terakhir yang dibangun di Lucene 8, berdasarkan Anserini v0.14.4. Setelah itu, bagasi Anserini ditingkatkan menjadi Lucene 9.5fab14 , dirilis 26/09/2022) dibangun di atas Anserini v0.15.0, menggunakan Lucene 9. Setelah itu, trunk Pyserini ditingkatkan ke Lucene 9.Penjelasan:
Apa dampaknya? Indeks yang dibuat dengan Lucene 8 tidak sepenuhnya kompatibel dengan kode Lucene 9 (lihat Anserini #1952). Solusinya adalah dengan menonaktifkan pemutusan hubungan yang konsisten, yang terjadi secara otomatis jika indeks Lucene 8 terdeteksi oleh Pyserini. Namun, kode Lucene 9 yang berjalan pada indeks Lucene 8 akan memberikan hasil yang sedikit berbeda dengan kode Lucene 8 yang berjalan pada indeks Lucene 8. Perhatikan bahwa kode Lucene 8 tidak dapat membaca indeks yang dibuat dengan Lucene 9.
Mengapa hal ini perlu? Meskipun mengganggu, peningkatan ke Lucene 9 diperlukan untuk memanfaatkan indeks HNSW Lucene, yang akan meningkatkan kemampuan Pyserini dan membuka ruang desain hibrida padat/jarang.
Dengan v0.11.0.0 dan sebelumnya, versi Pyserini mengadopsi konvensi XYZW , di mana XYZ melacak versi Anserini, dan W digunakan untuk membedakan rilis berbeda pada akhir Python. Dimulai dengan Anserini v0.12.0, versi Anserini dan Pyserini telah dipisahkan.
Anserini dirancang untuk bekerja dengan JDK 11. Ada perubahan jalur JRE di atas JDK 9 yang merusak pyjnius 1.2.0, seperti yang didokumentasikan dalam terbitan ini, juga dilaporkan di Anserini di sini dan di sini. Masalah ini telah diperbaiki dengan pyjnius 1.2.1 (dirilis Desember 2019). Kesalahan sebelumnya didokumentasikan dalam buku catatan ini dan buku catatan ini mendokumentasikan perbaikannya.
Jika Anda menggunakan Pyserini, harap kutip makalah berikut:
@INPROCEEDINGS{Lin_etal_SIGIR2021_Pyserini,
author = "Jimmy Lin and Xueguang Ma and Sheng-Chieh Lin and Jheng-Hong Yang and Ronak Pradeep and Rodrigo Nogueira",
title = "{Pyserini}: A {Python} Toolkit for Reproducible Information Retrieval Research with Sparse and Dense Representations",
booktitle = "Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)",
year = 2021,
pages = "2356--2362",
}
Penelitian ini sebagian besar didukung oleh Natural Sciences and Engineering Research Council (NSERC) Kanada.
