首頁>編程相關>其他源碼
下載

紙|安裝|快速示例|數據集| Wiki |擁抱臉

？這是什麼？

貝爾是包含不同IR任務的異質基準。它還提供了一個常見且簡單的框架，用於評估基於NLP的檢索模型。

有關概述，請查看我們的新Wiki頁面：https：//github.com/beir-cellar/beir/wiki。

對於型號和數據集，請查看擁抱面（HF）頁面：https：//huggingface.co/beir。

對於排行榜，請結帳評估AI頁面：https：//eval.ai/web/challenges/challenge-page/1897。

有關更多信息，請查看我們的出版物：

  • 貝爾：用於零攝入信息檢索模型的異質基準（Neurips 2021，數據集和基準軌跡）
  • 釀造Beir的資源：可重複的參考模型和官方排行榜（ARXIV 2023）

？安裝

通過PIP安裝： 

 pip install beir

如果要從源構建，請使用： 

$ git clone https : // github . com / beir - cellar / beir . git
$ cd beir
$ pip install - e .

用Python版本3.6和3.7測試

？特徵

  • 預處理您自己的IR數據集或使用已經進行了預處理的17個基準數據集之一
  • 包括廣泛的設置包括對學術界和行業有用的各種基準
  • 包括眾所周知的檢索體系結構（詞彙，密集，稀疏和基於重新的架構）
  • 使用不同的最先進的評估指標，在簡單的框架中添加和評估自己的模型

？快速示例

有關其他示例代碼，請參閱我們的示例和教程Wiki頁面。 

 from beir import util , LoggingHandler
from beir . retrieval import models
from beir . datasets . data_loader import GenericDataLoader
from beir . retrieval . evaluation import EvaluateRetrieval
from beir . retrieval . search . dense import DenseRetrievalExactSearch as DRES

import logging
import pathlib , os

#### Just some code to print debug information to stdout
logging . basicConfig ( format = '%(asctime)s - %(message)s' ,
                    datefmt = '%Y-%m-%d %H:%M:%S' ,
                    level = logging . INFO ,
                    handlers = [ LoggingHandler ()])
#### /print debug information to stdout

#### Download scifact.zip dataset and unzip the dataset
dataset = "scifact"
url = "https://public.ukp.informatik.tu-darmstadt.de/thakur/BEIR/datasets/{}.zip" . format ( dataset )
out_dir = os . path . join ( pathlib . Path ( __file__ ). parent . absolute (), "datasets" )
data_path = util . download_and_unzip ( url , out_dir )

#### Provide the data_path where scifact has been downloaded and unzipped
corpus , queries , qrels = GenericDataLoader ( data_folder = data_path ). load ( split = "test" )

#### Load the SBERT model and retrieve using cosine-similarity
model = DRES ( models . SentenceBERT ( "msmarco-distilbert-base-tas-b" ), batch_size = 16 )
retriever = EvaluateRetrieval ( model , score_function = "dot" ) # or "cos_sim" for cosine similarity
results = retriever . retrieve ( corpus , queries )

#### Evaluate your model with NDCG@k, MAP@K, Recall@K and Precision@K  where k = [1,3,5,10,100,1000] 
ndcg , _map , recall , precision = retriever . evaluate ( qrels , results , retriever . k_values )

？可用數據集

命令使用終端： md5sum filename.zip生成MD5HASH。

您可以在此處或擁抱臉時查看所有可用的數據集。

數據集網站貝爾名稱民眾？類型查詢語料庫rel d/q下載MD5
MSMARCO首頁msmarco ✅ train
dev
test		 6,980 884萬1.1關聯444067daf65d982533ea17ebd59501e4
trec-covid首頁trec-covid ✅ test 50 171k 493.5關聯ce62140cb23feb9becf6270d0d1fe6d1
nfcorpus首頁nfcorpus ✅ train
dev
test		 323 3.6k 38.2關聯a89dba18a62ef92f7d323ec890a0d38d
Bioasq首頁bioasq train
test		 500 14.91m 4.7不如何繁殖？
NQ首頁nq ✅ train
test		 3,452 268m 1.2關聯d4d3d2e48787a744b6f6e691ff534307
hotpotqa首頁hotpotqa ✅ train
dev
test		 7,405 523m 2.0關聯f412724f78b0d91183a0e86805e16114
FIQA-2018首頁fiqa ✅ train
dev
test		 648 57k 2.6關聯17918ed23cd04fb15047f73e6c3bd9d9
信號1M（RT）首頁signal1m test 97 286萬19.6不如何繁殖？
trec-news首頁trec-news test 57 595k 19.6不如何繁殖？
魯棒04首頁robust04 test 249 528k 69.9不如何繁殖？
Arguana首頁arguana ✅ test 1,406 8.67k 1.0關聯8ad3e3c2a5867cdced806d6503f29b99
Touche-2020首頁webis-touche2020 ✅ test 49 382k 19.0關聯46f650ba5a527fc69e0a6521c5a23563
cqadupstack首頁cqadupstack ✅ test 13,145 457K 1.4關聯4e41456d7df8ee7760a7f866133bda78
Quora首頁quora ✅ dev
test		 10,000 523k 1.6關聯18fb154900ba42a600f84b839c173167
dbpedia首頁dbpedia-entity ✅ dev
test		 400 4.63m 38.2關聯c2a39eb420a3164af735795df012ac2c
Scidocs首頁scidocs ✅ test 1,000 25k 4.9關聯38121350fc3a4d2f48850f6aff52e4a9
發燒首頁fever ✅ train
dev
test		 6,666 5.42m 1.2關聯5a818580227bfb4b35bb6fa46d9b6c03
氣候狂熱首頁climate-fever ✅ test 1,535 5.42m 3.0關聯8b66f0a9126c521bae2bde127b4dc99d
依戀首頁scifact ✅ train
test		 300 5k 1.1關聯5f7d1de60b170fc8027bb7898e2efca1

？附加信息

我們還在Wiki頁面中提供了各種其他信息。請參閱以下信息：

快速開始

  • 安裝貝爾
  • 示例和教程

數據集

  • 可用數據集
  • 多語言數據集
  • 加載您的自定義數據集

型號

  • 可用的型號
  • 評估您的自定義模型

指標

  • 可用的指標

各種各樣的

  • 貝爾排行榜
  • ir上的材料

？免責聲明

類似於TensorFlow數據集或擁抱Face的數據集庫，我們剛剛下載並準備了公共數據集。我們僅以特定的格式分發這些數據集，但我們不保證其質量或公平性，或者聲稱您擁有使用數據集的許可證。確定您作為用戶是否有權使用數據集許可證下的數據集並引用數據集的合適所有者的權限仍然是用戶的責任。

如果您是數據集所有者，並希望更新其任何部分，或者不希望您的數據集包含在此庫中，請隨時在此處發布問題或提出拉請請求！

如果您是數據集所有者，並希望將您的數據集或模型包括在此庫中，請隨時在此處發布問題或提出拉請請求！

？引用和作者

如果您發現此存儲庫有幫助，請隨時引用我們的出版物貝爾：用於零攝入信息檢索模型的異質基準： 

 @inproceedings{
    thakur2021beir,
    title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

如果您使用Beir排行榜中的任何基線得分，請隨時引用我們的出版資源進行釀造Beir：可重複的參考模型和官方的排行榜

 @misc{kamalloo2023resources,
      title={Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard}, 
      author={Ehsan Kamalloo and Nandan Thakur and Carlos Lassance and Xueguang Ma and Jheng-Hong Yang and Jimmy Lin},
      year={2023},
      eprint={2306.07471},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

該存儲庫的主要貢獻者是：

  • Nandan Thakur，個人網站：Nandan-thakur.com

聯繫人：Nandan Thakur，[email protected]

請隨時向我們發送電子郵件或報告問題，如果某件事被打破（不應該是），或者您還有其他問題。

該存儲庫包含實驗軟件，並出於唯一目的發布了有關該出版物的其他背景詳細信息。

？合作

由於以下大學和組織的合作努力，貝爾基準已成為可能：

  • UKP實驗室，達姆施塔特技術大學
  • 滑鐵盧大學
  • 擁抱臉

？貢獻者

感謝所有這些出色的合作對貝爾基準的貢獻：


南丹·塔庫爾（Nandan Thakur）
尼爾斯·雷默斯（Nils Reimers）
Iryna Gurevych
吉米·林
AndreasRücklé
Abhishek Srivastava
展開
附加信息
相關應用
爲您推薦
相關資訊 全部