beir

ورقة | التثبيت | مثال سريع | مجموعات البيانات | ويكي | الوجه المعانقة

؟ ما هذا؟

بير هو معيار غير متجانس يحتوي على مهام الأشعة تحت الحمراء المتنوعة. كما يوفر إطارًا شائعًا وسهلًا لتقييم نماذج الاسترجاع المستندة إلى NLP في المعيار.

للحصول على نظرة عامة ، يمكنك الخروج على صفحة Wiki الجديدة : https://github.com/beir-cellar/beir/wiki.

بالنسبة للموديلات ومجموعات البيانات ، قم بالخروج عن معانقة الوجه (HF) صفحة: https://huggingface.co/Beir.

بالنسبة إلى المتصدرين ، الخروج من eval ai صفحة: https://eval.ai/web/challenges/challenge-page/1897.

لمزيد من المعلومات ، الخروج من منشوراتنا:

• بير: معيار غير متجانس لتقييم صفر لقطة لنماذج استرجاع المعلومات (Neups 2021 ، مجموعات البيانات ومسار المعايير)
• موارد تخمير بير: نماذج مرجعية قابلة للتكرار ولوحة المتصدرين الرسمية (ARXIV 2023)

؟ تثبيت

التثبيت عبر PIP:

 pip install beir

إذا كنت ترغب في البناء من المصدر ، فاستخدم:

$ git clone https : // github . com / beir - cellar / beir . git
$ cd beir
$ pip install - e .

تم اختباره مع إصدارات Python 3.6 و 3.7

؟ سمات

• معالجة مسبقا مجموعة بيانات IR الخاصة بك أو استخدم إحدى مجموعات البيانات القياسية التي تم تجهيزها بالفعل 17
• تشمل الإعدادات الواسعة ، تغطي معايير متنوعة مفيدة لكل من الأوساط الأكاديمية والصناعة
• يشمل بنيات الاسترجاع المعروفة (المعجمية ، الكثيفة ، متناثرة وقائمة على reeranking)
• أضف وتقييم النموذج الخاص بك في إطار عمل سهل باستخدام مقاييس التقييم الحديثة المختلفة

؟ مثال سريع

للحصول على رموز مثال أخرى ، يرجى الرجوع إلى صفحة الأمثلة والدروس التعليمية .

 from beir import util , LoggingHandler
from beir . retrieval import models
from beir . datasets . data_loader import GenericDataLoader
from beir . retrieval . evaluation import EvaluateRetrieval
from beir . retrieval . search . dense import DenseRetrievalExactSearch as DRES

import logging
import pathlib , os

#### Just some code to print debug information to stdout
logging . basicConfig ( format = '%(asctime)s - %(message)s' ,
                    datefmt = '%Y-%m-%d %H:%M:%S' ,
                    level = logging . INFO ,
                    handlers = [ LoggingHandler ()])
#### /print debug information to stdout

#### Download scifact.zip dataset and unzip the dataset
dataset = "scifact"
url = "https://public.ukp.informatik.tu-darmstadt.de/thakur/BEIR/datasets/{}.zip" . format ( dataset )
out_dir = os . path . join ( pathlib . Path ( __file__ ). parent . absolute (), "datasets" )
data_path = util . download_and_unzip ( url , out_dir )

#### Provide the data_path where scifact has been downloaded and unzipped
corpus , queries , qrels = GenericDataLoader ( data_folder = data_path ). load ( split = "test" )

#### Load the SBERT model and retrieve using cosine-similarity
model = DRES ( models . SentenceBERT ( "msmarco-distilbert-base-tas-b" ), batch_size = 16 )
retriever = EvaluateRetrieval ( model , score_function = "dot" ) # or "cos_sim" for cosine similarity
results = retriever . retrieve ( corpus , queries )

#### Evaluate your model with NDCG@k, MAP@K, Recall@K and Precision@K  where k = [1,3,5,10,100,1000] 
ndcg , _map , recall , precision = retriever . evaluate ( qrels , results , retriever . k_values )

؟ مجموعات البيانات المتاحة

أمر لإنشاء MD5Hash باستخدام Terminal: md5sum filename.zip .

يمكنك عرض جميع مجموعات البيانات المتاحة هنا أو على وجه المعانقة .

مجموعة البيانات	موقع إلكتروني	بير نام	عام؟	يكتب	استفسارات	مجموعة	rel d/q	تحميل	MD5
Msmarco	الصفحة الرئيسية	msmarco	✅	train dev test	6،980	8.84m	1.1	وصلة	444067daf65d982533ea17ebd59501e4
تريبي	الصفحة الرئيسية	trec-covid	✅	test	50	171k	493.5	وصلة	ce62140cb23feb9becf6270d0d1fe6d1
Nfcorpus	الصفحة الرئيسية	nfcorpus	✅	train dev test	323	3.6k	38.2	وصلة	a89dba18a62ef92f7d323ec890a0d38d
Bioasq	الصفحة الرئيسية	bioasq		train test	500	14.91m	4.7	لا	كيف تتكاثر؟
NQ	الصفحة الرئيسية	nq	✅	train test	3452	2.68m	1.2	وصلة	d4d3d2e48787a744b6f6e691ff534307
Hotpotqa	الصفحة الرئيسية	hotpotqa	✅	train dev test	7،405	5.23m	2.0	وصلة	f412724f78b0d91183a0e86805e16114
FIQA-2018	الصفحة الرئيسية	fiqa	✅	train dev test	648	57K	2.6	وصلة	17918ed23cd04fb15047f73e6c3bd9d9
إشارة 1M (RT)	الصفحة الرئيسية	signal1m		test	97	2.86m	19.6	لا	كيف تتكاثر؟
TREC-NEWS	الصفحة الرئيسية	trec-news		test	57	595K	19.6	لا	كيف تتكاثر؟
قوي 04	الصفحة الرئيسية	robust04		test	249	528 كيلو	69.9	لا	كيف تتكاثر؟
أرجوانا	الصفحة الرئيسية	arguana	✅	test	1،406	8.67k	1.0	وصلة	8ad3e3c2a5867cdced806d6503f29b99
Touche-2020	الصفحة الرئيسية	webis-touche2020	✅	test	49	382K	19.0	وصلة	46f650ba5a527fc69e0a6521c5a23563
cqadupstack	الصفحة الرئيسية	cqadupstack	✅	test	13،145	457K	1.4	وصلة	4e41456d7df8ee7760a7f866133bda78
Quora	الصفحة الرئيسية	quora	✅	dev test	10000	523 كيلو	1.6	وصلة	18fb154900ba42a600f84b839c173167
DBPedia	الصفحة الرئيسية	dbpedia-entity	✅	dev test	400	4.63m	38.2	وصلة	c2a39eb420a3164af735795df012ac2c
scidocs	الصفحة الرئيسية	scidocs	✅	test	1000	25 كيلو	4.9	وصلة	38121350fc3a4d2f48850f6aff52e4a9
حمى	الصفحة الرئيسية	fever	✅	train dev test	6666	5.42m	1.2	وصلة	5a818580227bfb4b35bb6fa46d9b6c03
المناخ	الصفحة الرئيسية	climate-fever	✅	test	1535	5.42m	3.0	وصلة	8b66f0a9126c521bae2bde127b4dc99d
Scifact	الصفحة الرئيسية	scifact	✅	train test	300	5K	1.1	وصلة	5f7d1de60b170fc8027bb7898e2efca1

؟ معلومات إضافية

نقدم أيضًا مجموعة متنوعة من المعلومات الإضافية في صفحة Wiki الخاصة بنا. يرجى الرجوع إلى هذه الصفحات لما يلي:

بداية سريعة

• تثبيت بير
• أمثلة ودروس تعليمية

مجموعات البيانات

• مجموعات البيانات المتاحة
• مجموعات بيانات متعددة اللغات
• قم بتحميل مجموعة البيانات المخصصة الخاصة بك

النماذج

• النماذج المتاحة
• تقييم النموذج المخصص الخاص بك

المقاييس

• المقاييس المتاحة

متنوع

• المتصدرين بير
• مادة couse على الأشعة تحت الحمراء

؟ تنصل

على غرار مكتبة بيانات TensorFlow أو مكتبة مجموعات بيانات Face ، قمنا فقط بتنزيل مجموعات البيانات العامة وأعدناها. نحن نقوم فقط بتوزيع مجموعات البيانات هذه بتنسيق محدد ، لكننا لا نفترض جودتها أو الإنصاف ، أو ندعي أن لديك ترخيصًا لاستخدام مجموعة البيانات. يبقى مسؤولية المستخدم لتحديد ما إذا كان لديك كمستخدم إذن لاستخدام مجموعة البيانات ضمن ترخيص مجموعة البيانات والاستشهاد بالمالك المناسب لمجموعة البيانات.

إذا كنت مالكًا لمجموعة البيانات وترغب في تحديث أي جزء منه ، أو لا ترغب في تضمين مجموعة البيانات الخاصة بك في هذه المكتبة ، لا تتردد في نشر مشكلة هنا أو تقديم طلب سحب!

إذا كنت مالك مجموعة بيانات وترغب في تضمين مجموعة البيانات أو طرازك في هذه المكتبة ، فلا تتردد في نشر مشكلة هنا أو تقديم طلب سحب!

؟ نقلا عن والمؤلفين

إذا وجدت هذا المستودع مفيدًا ، فلا تتردد في الاستشهاد بنشرنا بير: معيار غير متجانس لتقييم صفر لطيور نماذج استرجاع المعلومات:

 @inproceedings{
    thakur2021beir,
    title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

إذا كنت تستخدم أي درجة أساسية من لوحة المتصدرين بير ، فلا تتردد في الاستشهاد بموارد النشر الخاصة بنا لبروينج بير: نماذج مرجعية قابلة للتكرار ولوحة المتصدرين الرسمية

 @misc{kamalloo2023resources,
      title={Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard}, 
      author={Ehsan Kamalloo and Nandan Thakur and Carlos Lassance and Xueguang Ma and Jheng-Hong Yang and Jimmy Lin},
      year={2023},
      eprint={2306.07471},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

المساهمون الرئيسيون في هذا المستودع هم:

• ناندان ثاكور ، الموقع الشخصي: nandan-thakur.com

جهة الاتصال الشخص: ناندان ثاكور ، [email protected]

لا تتردد في إرسال بريد إلكتروني إلينا أو الإبلاغ عن مشكلة ، إذا تم كسر شيء ما (ولا ينبغي أن يكون) أو إذا كان لديك المزيد من الأسئلة.

يحتوي هذا المستودع على برنامج تجريبي ويتم نشره لغرض وحيد هو إعطاء تفاصيل خلفية إضافية حول المنشور المعني.

؟ تعاون

أصبح معيار بير ممكنًا بسبب الجهد التعاوني للجامعات والمنظمات التالية:

• UKP Lab ، جامعة دارمشتات التقنية
• جامعة واترلو
• الوجه المعانقة

؟ المساهمين

شكرًا على كل هذه التعاونات الرائعة لمساهمتها في معايير بير:

ناندان ثاكور

نيلز reimers

إيرينا غوريفيتش

جيمي لين

أندرياس روكلي

أبهيشيك سريفاستافا