beir
v2.0.0: We are back with bugfixes and improving BEIR after a long break
Бумага | Установка | Быстрый пример | Наборы данных | Вики | Обнимающееся лицо
BEIR - это гетерогенный эталон , содержащий разнообразные ИК -задачи. Он также обеспечивает общую и простую структуру для оценки ваших моделей поиска на основе НЛП в эталонном этапе.
Для обзора , проверьте нашу новую страницу вики : https://github.com/beir-cellar/beir/wiki.
Для моделей и наборов данных проверьте страницу обнимающего лица (HF) : https://huggingface.co/beir.
Для таблицы лидеров , проверка Again Ai Page: https://eval.ai/web/challenges/challenge-page/1897.
Для получения дополнительной информации проверяйте наши публикации:
Установите через PIP:
pip install beirЕсли вы хотите построить из источника, используйте:
$ git clone https : // github . com / beir - cellar / beir . git
$ cd beir
$ pip install - e .Протестировано с помощью версий Python 3.6 и 3.7
Для других примеров кодов, пожалуйста, обратитесь к нашим примерам и учебным пособиям .
from beir import util , LoggingHandler
from beir . retrieval import models
from beir . datasets . data_loader import GenericDataLoader
from beir . retrieval . evaluation import EvaluateRetrieval
from beir . retrieval . search . dense import DenseRetrievalExactSearch as DRES
import logging
import pathlib , os
#### Just some code to print debug information to stdout
logging . basicConfig ( format = '%(asctime)s - %(message)s' ,
datefmt = '%Y-%m-%d %H:%M:%S' ,
level = logging . INFO ,
handlers = [ LoggingHandler ()])
#### /print debug information to stdout
#### Download scifact.zip dataset and unzip the dataset
dataset = "scifact"
url = "https://public.ukp.informatik.tu-darmstadt.de/thakur/BEIR/datasets/{}.zip" . format ( dataset )
out_dir = os . path . join ( pathlib . Path ( __file__ ). parent . absolute (), "datasets" )
data_path = util . download_and_unzip ( url , out_dir )
#### Provide the data_path where scifact has been downloaded and unzipped
corpus , queries , qrels = GenericDataLoader ( data_folder = data_path ). load ( split = "test" )
#### Load the SBERT model and retrieve using cosine-similarity
model = DRES ( models . SentenceBERT ( "msmarco-distilbert-base-tas-b" ), batch_size = 16 )
retriever = EvaluateRetrieval ( model , score_function = "dot" ) # or "cos_sim" for cosine similarity
results = retriever . retrieve ( corpus , queries )
#### Evaluate your model with NDCG@k, MAP@K, Recall@K and Precision@K where k = [1,3,5,10,100,1000]
ndcg , _map , recall , precision = retriever . evaluate ( qrels , results , retriever . k_values ) Команда для генерации MD5HASH с использованием терминала: md5sum filename.zip .
Вы можете просмотреть все наборы данных, доступные здесь , или на обнимающееся лицо .
| Набор данных | Веб -сайт | Бейрайр | Публичный? | Тип | Запросы | Корпус | Rel d/q | Скачать | MD5 |
|---|---|---|---|---|---|---|---|---|---|
| Msmarco | Домашняя страница | msmarco | ✅ | traindevtest | 6 980 | 8,84 м | 1.1 | Связь | 444067daf65d982533ea17ebd59501e4 |
| Trec-Covid | Домашняя страница | trec-covid | ✅ | test | 50 | 171K | 493,5 | Связь | ce62140cb23feb9becf6270d0d1fe6d1 |
| Nfcorpus | Домашняя страница | nfcorpus | ✅ | traindevtest | 323 | 3.6K | 38.2 | Связь | a89dba18a62ef92f7d323ec890a0d38d |
| BioAsq | Домашняя страница | bioasq | traintest | 500 | 14.91M | 4.7 | Нет | Как воспроизвести? | |
| Н.К. | Домашняя страница | nq | ✅ | traintest | 3452 | 2,68 м | 1.2 | Связь | d4d3d2e48787a744b6f6e691ff534307 |
| Hotpotqa | Домашняя страница | hotpotqa | ✅ | traindevtest | 7,405 | 5,23 м | 2.0 | Связь | f412724f78b0d91183a0e86805e16114 |
| Фика-2018 | Домашняя страница | fiqa | ✅ | traindevtest | 648 | 57K | 2.6 | Связь | 17918ed23cd04fb15047f73e6c3bd9d9 |
| Сигнал-1м (RT) | Домашняя страница | signal1m | test | 97 | 2,86 м | 19.6 | Нет | Как воспроизвести? | |
| Trec-News | Домашняя страница | trec-news | test | 57 | 595K | 19.6 | Нет | Как воспроизвести? | |
| Ortail04 | Домашняя страница | robust04 | test | 249 | 528K | 69,9 | Нет | Как воспроизвести? | |
| Аргуана | Домашняя страница | arguana | ✅ | test | 1406 | 8.67K | 1.0 | Связь | 8ad3e3c2a5867cdced806d6503f29b99 |
| Touche-2020 | Домашняя страница | webis-touche2020 | ✅ | test | 49 | 382K | 19.0 | Связь | 46f650ba5a527fc69e0a6521c5a23563 |
| CQADUPSTACK | Домашняя страница | cqadupstack | ✅ | test | 13 145 | 457K | 1.4 | Связь | 4e41456d7df8ee7760a7f866133bda78 |
| Quora | Домашняя страница | quora | ✅ | devtest | 10000 | 523K | 1.6 | Связь | 18fb154900ba42a600f84b839c173167 |
| Dbpedia | Домашняя страница | dbpedia-entity | ✅ | devtest | 400 | 4,63 м | 38.2 | Связь | c2a39eb420a3164af735795df012ac2c |
| Scidocs | Домашняя страница | scidocs | ✅ | test | 1000 | 25k | 4.9 | Связь | 38121350fc3a4d2f48850f6aff52e4a9 |
| ВЫСОКАЯ ТЕМПЕРАТУРА | Домашняя страница | fever | ✅ | traindevtest | 6 666 | 5,42 м | 1.2 | Связь | 5a818580227bfb4b35bb6fa46d9b6c03 |
| Климат-Февер | Домашняя страница | climate-fever | ✅ | test | 1535 | 5,42 м | 3.0 | Связь | 8b66f0a9126c521bae2bde127b4dc99d |
| Scifact | Домашняя страница | scifact | ✅ | traintest | 300 | 5K | 1.1 | Связь | 5f7d1de60b170fc8027bb7898e2efca1 |
Мы также предоставляем множество дополнительной информации на нашей странице вики . Пожалуйста, обратитесь к этим страницам для следующих:
Подобно наборам данных TensorFlow или библиотеке наборов данных об объятиях Face, мы только что загрузили и подготовили публичные наборы данных. Мы распространяем эти наборы данных только в определенном формате, но мы не ручаем за их качество или справедливость или утверждаем, что у вас есть лицензия на использование набора данных. Остается обязанностью пользователя определить, есть ли у вас, как у пользователя разрешение использовать набор данных по лицензии набора данных и цитировать правильного владельца набора данных.
Если вы являетесь владельцем набора данных и хотите обновить какую -либо его часть, или не хотите, чтобы ваш набор данных был включен в эту библиотеку, не стесняйтесь разместить проблему здесь или сделать запрос на вытяжение!
Если вы являетесь владельцем набора данных и хотите включить свой набор данных или модель в эту библиотеку, не стесняйтесь размещать проблему здесь или сделать запрос на вытягивание!
Если вы обнаружите, что этот репозиторий полезным, не стесняйтесь цитировать нашу публикацию BEIR: гетерогенный эталон для нулевой оценки моделей поиска информации:
@inproceedings{
thakur2021beir,
title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
year={2021},
url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}
Если вы используете какой -либо базовый результат из таблицы лидеров BEIR, не стесняйтесь цитировать наши ресурсы публикации для пивоварения BEIR: воспроизводимые справочные модели и официальное таблицу лидеров
@misc{kamalloo2023resources,
title={Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard},
author={Ehsan Kamalloo and Nandan Thakur and Carlos Lassance and Xueguang Ma and Jheng-Hong Yang and Jimmy Lin},
year={2023},
eprint={2306.07471},
archivePrefix={arXiv},
primaryClass={cs.IR}
}
Основными участниками этого хранилища являются:
Контактное лицо: Нандан Такур, [email protected]
Не стесняйтесь отправлять нам электронное письмо или сообщать о проблеме, если что-то сломано (и это не должно быть) или если у вас есть дополнительные вопросы.
Этот репозиторий содержит экспериментальное программное обеспечение и опубликовано с единственной целью предоставить дополнительные данные о соответствующей публикации.
Бледный эталон стал возможным благодаря совместной работе следующих университетов и организаций:
Спасибо всем этим замечательному сотрудничеству за их вклад в эталон Бейра:
Нандан Такур | Нильс Реймерс | Iryna Gurevych | Джимми Лин | Андреас Рюкле | Абхишек Шривастава |
