ดาวน์โหลด beir - ดาวน์โหลดซอร์สโค้ด beir

beir

ซอร์สโค้ดอื่น ๆ

v2.0.0: We are back with bugfixes and improving BEIR after a long break

ดาวน์โหลด

กระดาษ | การติดตั้ง ตัวอย่างด่วน | ชุดข้อมูล วิกิ | กอดใบหน้า

- มันคืออะไร?

Beir เป็น เกณฑ์มาตรฐานที่แตกต่างกัน ซึ่งมีงาน IR ที่หลากหลาย นอกจากนี้ยังมี กรอบการทำงานร่วมกันและง่าย สำหรับการประเมินโมเดลการดึงข้อมูล NLP ของคุณภายในเกณฑ์มาตรฐาน

สำหรับ ภาพรวม ให้ชำระเงินหน้า วิกิใหม่ ของเรา: https://github.com/beir-cellar/beir/wiki

สำหรับ โมเดลและชุดข้อมูล ให้ชำระเงินออกจาก หน้ากอด (hf) : https://huggingface.co/beir

สำหรับ ลีดเดอร์บอร์ด ให้ชำระเงิน Eval AI หน้า: https://eval.ai/web/challenges/challenge-page/1897

สำหรับข้อมูลเพิ่มเติมชำระเงินสิ่งพิมพ์ของเรา:

Beir: เกณฑ์มาตรฐานที่แตกต่างกันสำหรับการประเมินแบบไม่มีการยิงของแบบจำลองการดึงข้อมูล (Neurips 2021, ชุดข้อมูลและแทร็กมาตรฐาน)
ทรัพยากรสำหรับ Brewing Beir: โมเดลอ้างอิงที่ทำซ้ำได้และกระดานผู้นำอย่างเป็นทางการ (Arxiv 2023)

- การติดตั้ง

ติดตั้งผ่าน PIP:

 pip install beir

หากคุณต้องการสร้างจากแหล่งที่มาให้ใช้:

$ git clone https : // github . com / beir - cellar / beir . git
$ cd beir
$ pip install - e .

ทดสอบด้วยรุ่น Python 3.6 และ 3.7

- คุณสมบัติ

ประมวลผลชุดข้อมูล IR ของคุณเองหรือใช้หนึ่งในชุดข้อมูลมาตรฐาน 17 ชุดที่คาดการณ์ไว้แล้ว
รวมถึงการตั้งค่าที่หลากหลายครอบคลุมการวัดประสิทธิภาพที่หลากหลายที่มีประโยชน์สำหรับทั้งสถาบันการศึกษาและอุตสาหกรรม
รวมถึงสถาปัตยกรรมการดึงข้อมูลที่รู้จักกันดี (คำศัพท์, หนาแน่น, เบาบางและการเปลี่ยนเส้นทาง)
เพิ่มและประเมินโมเดลของคุณเองในกรอบง่าย ๆ โดยใช้ตัวชี้วัดการประเมินที่ทันสมัยที่แตกต่างกัน

- ตัวอย่างอย่างรวดเร็ว

สำหรับรหัสตัวอย่างอื่น ๆ โปรดดู ตัวอย่างและการสอน ของเราหน้า Wiki

 from beir import util , LoggingHandler
from beir . retrieval import models
from beir . datasets . data_loader import GenericDataLoader
from beir . retrieval . evaluation import EvaluateRetrieval
from beir . retrieval . search . dense import DenseRetrievalExactSearch as DRES

import logging
import pathlib , os

#### Just some code to print debug information to stdout
logging . basicConfig ( format = '%(asctime)s - %(message)s' ,
                    datefmt = '%Y-%m-%d %H:%M:%S' ,
                    level = logging . INFO ,
                    handlers = [ LoggingHandler ()])
#### /print debug information to stdout

#### Download scifact.zip dataset and unzip the dataset
dataset = "scifact"
url = "https://public.ukp.informatik.tu-darmstadt.de/thakur/BEIR/datasets/{}.zip" . format ( dataset )
out_dir = os . path . join ( pathlib . Path ( __file__ ). parent . absolute (), "datasets" )
data_path = util . download_and_unzip ( url , out_dir )

#### Provide the data_path where scifact has been downloaded and unzipped
corpus , queries , qrels = GenericDataLoader ( data_folder = data_path ). load ( split = "test" )

#### Load the SBERT model and retrieve using cosine-similarity
model = DRES ( models . SentenceBERT ( "msmarco-distilbert-base-tas-b" ), batch_size = 16 )
retriever = EvaluateRetrieval ( model , score_function = "dot" ) # or "cos_sim" for cosine similarity
results = retriever . retrieve ( corpus , queries )

#### Evaluate your model with NDCG@k, MAP@K, Recall@K and Precision@K  where k = [1,3,5,10,100,1000] 
ndcg , _map , recall , precision = retriever . evaluate ( qrels , results , retriever . k_values )

- ชุดข้อมูลที่มีอยู่

คำสั่งเพื่อสร้าง md5hash โดยใช้เทอร์มินัล: md5sum filename.zip

คุณสามารถดูชุดข้อมูลทั้งหมดที่มีอยู่ ที่นี่ หรือบน ใบหน้ากอด

ชุดข้อมูล	เว็บไซต์	Beir-Name	พิมพ์	การสอบถาม	คอร์ปัส	rel d/q	การโหลดลง	MD5
msmarco	หน้าแรก	`msmarco`	`train` `dev` `test`	6,980	8.84m	1.1	การเชื่อมโยง	`444067daf65d982533ea17ebd59501e4`
คนโง่	หน้าแรก	`trec-covid`	`test`	50	171K	493.5	การเชื่อมโยง	`ce62140cb23feb9becf6270d0d1fe6d1`
nfcorpus	หน้าแรก	`nfcorpus`	`train` `dev` `test`	323	3.6K	38.2	การเชื่อมโยง	`a89dba18a62ef92f7d323ec890a0d38d`
BioAsq	หน้าแรก	`bioasq`	`train` `test`	500	14.91m	4.7	เลขที่	จะทำซ้ำได้อย่างไร?
NQ	หน้าแรก	`nq`	`train` `test`	3,452	2.68m	1.2	การเชื่อมโยง	`d4d3d2e48787a744b6f6e691ff534307`
Hotpotqa	หน้าแรก	`hotpotqa`	`train` `dev` `test`	7,405	5.23m	2.0	การเชื่อมโยง	`f412724f78b0d91183a0e86805e16114`
FIQA-2018	หน้าแรก	`fiqa`	`train` `dev` `test`	648	57K	2.6	การเชื่อมโยง	`17918ed23cd04fb15047f73e6c3bd9d9`
Signal-1M (RT)	หน้าแรก	`signal1m`	`test`	97	2.86m	19.6	เลขที่	จะทำซ้ำได้อย่างไร?
สิ่งใหม่	หน้าแรก	`trec-news`	`test`	57	595K	19.6	เลขที่	จะทำซ้ำได้อย่างไร?
แข็งแกร่ง 04	หน้าแรก	`robust04`	`test`	249	528K	69.9	เลขที่	จะทำซ้ำได้อย่างไร?
อาร์กูน่า	หน้าแรก	`arguana`	`test`	1,406	8.67k	1.0	การเชื่อมโยง	`8ad3e3c2a5867cdced806d6503f29b99`
Touche-20120	หน้าแรก	`webis-touche2020`	`test`	49	382K	19.0	การเชื่อมโยง	`46f650ba5a527fc69e0a6521c5a23563`
cqadupstack	หน้าแรก	`cqadupstack`	`test`	13,145	457K	1.4	การเชื่อมโยง	`4e41456d7df8ee7760a7f866133bda78`
quora	หน้าแรก	`quora`	`dev` `test`	10,000	523K	1.6	การเชื่อมโยง	`18fb154900ba42a600f84b839c173167`
DBPEDIA	หน้าแรก	`dbpedia-entity`	`dev` `test`	400	4.63m	38.2	การเชื่อมโยง	`c2a39eb420a3164af735795df012ac2c`
Scidocs	หน้าแรก	`scidocs`	`test`	1,000	25k	4.9	การเชื่อมโยง	`38121350fc3a4d2f48850f6aff52e4a9`
ไข้	หน้าแรก	`fever`	`train` `dev` `test`	6,666	5.42m	1.2	การเชื่อมโยง	`5a818580227bfb4b35bb6fa46d9b6c03`
สภาพภูมิอากาศ	หน้าแรก	`climate-fever`	`test`	1,535	5.42m	3.0	การเชื่อมโยง	`8b66f0a9126c521bae2bde127b4dc99d`
ทำให้ลวก ๆ	หน้าแรก	`scifact`	`train` `test`	300	5K	1.1	การเชื่อมโยง	`5f7d1de60b170fc8027bb7898e2efca1`

- ข้อมูลเพิ่มเติม

นอกจากนี้เรายังให้ข้อมูลเพิ่มเติมที่หลากหลายในหน้า Wiki ของเรา โปรดดูหน้าเหล่านี้สำหรับสิ่งต่อไปนี้:

เริ่มต้นอย่างรวดเร็ว

การติดตั้ง Beir
ตัวอย่างและบทช่วยสอน

ชุดข้อมูล

ชุดข้อมูลพร้อมใช้งาน
ชุดข้อมูลหลายภาษา
โหลดชุดข้อมูลที่กำหนดเองของคุณ

แบบจำลอง

มีรุ่นที่มีอยู่
ประเมินโมเดลที่กำหนดเองของคุณ

ตัวชี้วัด

มีตัวชี้วัดที่มีอยู่

เบ็ดเตล็ด

บอร์ดบอร์ด Beir
Couse วัสดุใน IR

- คำเตือน

คล้ายกับชุดข้อมูล TensorFlow หรือ Hugging Face's DataSets Library เราเพิ่งดาวน์โหลดและเตรียมชุดข้อมูลสาธารณะ เราแจกจ่ายชุดข้อมูลเหล่านี้ในรูปแบบเฉพาะเท่านั้น แต่เราไม่รับรองคุณภาพหรือความเป็นธรรมของพวกเขาหรืออ้างว่าคุณมีใบอนุญาตในการใช้ชุดข้อมูล มันยังคงเป็นความรับผิดชอบของผู้ใช้ในการพิจารณาว่าคุณในฐานะผู้ใช้ได้รับอนุญาตให้ใช้ชุดข้อมูลภายใต้ใบอนุญาตของชุดข้อมูลหรือไม่และอ้างถึงเจ้าของชุดข้อมูลที่เหมาะสม

หากคุณเป็นเจ้าของชุดข้อมูลและต้องการอัปเดตส่วนใดส่วนหนึ่งของมันหรือไม่ต้องการให้ชุดข้อมูลของคุณรวมอยู่ในไลบรารีนี้อย่าลังเลที่จะโพสต์ปัญหาที่นี่หรือทำคำขอดึง!

หากคุณเป็นเจ้าของชุดข้อมูลและต้องการรวมชุดข้อมูลหรือโมเดลของคุณในห้องสมุดนี้อย่าลังเลที่จะโพสต์ปัญหาที่นี่หรือส่งคำขอดึง!

- อ้างและผู้แต่ง

หากคุณพบว่าพื้นที่เก็บข้อมูลนี้เป็นประโยชน์อย่าลังเลที่จะอ้างถึงสิ่งพิมพ์ของเรา beir: มาตรฐานที่แตกต่างกันสำหรับการประเมินแบบไม่มีการยิงของแบบจำลองการดึงข้อมูล:

 @inproceedings{
    thakur2021beir,
    title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

หากคุณใช้คะแนนพื้นฐานใด ๆ จากกระดานผู้นำ Beir อย่าลังเลที่จะอ้างถึงแหล่งข้อมูลสิ่งพิมพ์ของเราสำหรับ Brewing Beir: โมเดลอ้างอิงที่ทำซ้ำได้และกระดานผู้นำอย่างเป็นทางการ

 @misc{kamalloo2023resources,
      title={Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard}, 
      author={Ehsan Kamalloo and Nandan Thakur and Carlos Lassance and Xueguang Ma and Jheng-Hong Yang and Jimmy Lin},
      year={2023},
      eprint={2306.07471},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

ผู้สนับสนุนหลักของที่เก็บนี้คือ: