Téléchargement beir - Téléchargement du code source beir

beir

Autre code source

v2.0.0: We are back with bugfixes and improving BEIR after a long break

Télécharger

? Qu'est-ce que c'est?

Beir est une référence hétérogène contenant diverses tâches IR. Il fournit également un cadre commun et facile pour l'évaluation de vos modèles de récupération basés sur la PNL dans la référence.

Pour un aperçu , consultez notre nouvelle page wiki : https://github.com/beir-cillar/beir/wiki.

Pour les modèles et les ensembles de données , découvrez la page Hugging Face (HF) : https://huggingface.co/beir.

Pour le classement , découvrez la page EVAL AI : https://eval.ai/web/challenges/challenge-page/1897.

Pour plus d'informations, consultez nos publications:

BEIR: Une référence hétérogène pour l'évaluation zéro-coup des modèles de récupération d'informations (Neirips 2021, ensembles de données et piste de référence)
Ressources pour brassage Beir: modèles de référence reproductibles et classement officiel (Arxiv 2023)

? Installation

Installer via PIP:

 pip install beir

Si vous souhaitez construire à partir de la source, utilisez:

$ git clone https : // github . com / beir - cellar / beir . git
$ cd beir
$ pip install - e .

Testé avec Python Versions 3.6 et 3.7

? Caractéristiques

Prétraitez votre propre ensemble de données IR ou utilisez l'un des 17 ensembles de données de référence déjà procédés
Paramètres larges inclus, couvre divers repères utiles pour le monde universitaire et l'industrie
Comprend des architectures de récupération bien connues (lexicale, dense, clairsemée et basée sur le rediffusion)
Ajouter et évaluer votre propre modèle dans un cadre facile en utilisant différentes mesures d'évaluation de pointe

? Exemple rapide

Pour d'autres exemples de codes, veuillez consulter nos exemples et tutoriels Page wiki.

 from beir import util , LoggingHandler
from beir . retrieval import models
from beir . datasets . data_loader import GenericDataLoader
from beir . retrieval . evaluation import EvaluateRetrieval
from beir . retrieval . search . dense import DenseRetrievalExactSearch as DRES

import logging
import pathlib , os

#### Just some code to print debug information to stdout
logging . basicConfig ( format = '%(asctime)s - %(message)s' ,
                    datefmt = '%Y-%m-%d %H:%M:%S' ,
                    level = logging . INFO ,
                    handlers = [ LoggingHandler ()])
#### /print debug information to stdout

#### Download scifact.zip dataset and unzip the dataset
dataset = "scifact"
url = "https://public.ukp.informatik.tu-darmstadt.de/thakur/BEIR/datasets/{}.zip" . format ( dataset )
out_dir = os . path . join ( pathlib . Path ( __file__ ). parent . absolute (), "datasets" )
data_path = util . download_and_unzip ( url , out_dir )

#### Provide the data_path where scifact has been downloaded and unzipped
corpus , queries , qrels = GenericDataLoader ( data_folder = data_path ). load ( split = "test" )

#### Load the SBERT model and retrieve using cosine-similarity
model = DRES ( models . SentenceBERT ( "msmarco-distilbert-base-tas-b" ), batch_size = 16 )
retriever = EvaluateRetrieval ( model , score_function = "dot" ) # or "cos_sim" for cosine similarity
results = retriever . retrieve ( corpus , queries )

#### Evaluate your model with NDCG@k, MAP@K, Recall@K and Precision@K  where k = [1,3,5,10,100,1000] 
ndcg , _map , recall , precision = retriever . evaluate ( qrels , results , retriever . k_values )

? Ensembles de données disponibles

Commande pour générer MD5HASH en utilisant Terminal: md5sum filename.zip .

Vous pouvez afficher tous les ensembles de données disponibles ici ou sur une face étreinte .

Ensemble de données	Site web	Nom de Beir	Publique?	Taper	Requêtes	Corpus	Rel d / q	Télécharger	md5
MSMARCO	Page d'accueil	`msmarco`	✅	`train` `dev` `test`	6 980	8,84m	1.1	Lien	`444067daf65d982533ea17ebd59501e4`
Trec-voleur	Page d'accueil	`trec-covid`	✅	`test`	50	171K	493.5	Lien	`ce62140cb23feb9becf6270d0d1fe6d1`
Nfcorpus	Page d'accueil	`nfcorpus`	✅	`train` `dev` `test`	323	3,6k	38.2	Lien	`a89dba18a62ef92f7d323ec890a0d38d`
Bioasq	Page d'accueil	`bioasq`		`train` `test`	500	14.91m	4.7	Non	Comment se reproduire?
Nq	Page d'accueil	`nq`	✅	`train` `test`	3 452	2,68 m	1.2	Lien	`d4d3d2e48787a744b6f6e691ff534307`
Hotpotqa	Page d'accueil	`hotpotqa`	✅	`train` `dev` `test`	7 405	5,23 m	2.0	Lien	`f412724f78b0d91183a0e86805e16114`
FIQA-2018	Page d'accueil	`fiqa`	✅	`train` `dev` `test`	648	57K	2.6	Lien	`17918ed23cd04fb15047f73e6c3bd9d9`
Signal-1M (RT)	Page d'accueil	`signal1m`		`test`	97	2,86 m	19.6	Non	Comment se reproduire?
Trec-news	Page d'accueil	`trec-news`		`test`	57	595k	19.6	Non	Comment se reproduire?
Robuste04	Page d'accueil	`robust04`		`test`	249	528K	69.9	Non	Comment se reproduire?
Arguane	Page d'accueil	`arguana`	✅	`test`	1406	8,67k	1.0	Lien	`8ad3e3c2a5867cdced806d6503f29b99`
Touche-2020	Page d'accueil	`webis-touche2020`	✅	`test`	49	382k	19.0	Lien	`46f650ba5a527fc69e0a6521c5a23563`
Cqadupstack	Page d'accueil	`cqadupstack`	✅	`test`	13 145	457K	1.4	Lien	`4e41456d7df8ee7760a7f866133bda78`
Quora	Page d'accueil	`quora`	✅	`dev` `test`	10 000	523k	1.6	Lien	`18fb154900ba42a600f84b839c173167`
Dbpedia	Page d'accueil	`dbpedia-entity`	✅	`dev` `test`	400	4,63 m	38.2	Lien	`c2a39eb420a3164af735795df012ac2c`
Scidocs	Page d'accueil	`scidocs`	✅	`test`	1 000	25K	4.9	Lien	`38121350fc3a4d2f48850f6aff52e4a9`
FIÈVRE	Page d'accueil	`fever`	✅	`train` `dev` `test`	6 666	5,42 m	1.2	Lien	`5a818580227bfb4b35bb6fa46d9b6c03`
Climat	Page d'accueil	`climate-fever`	✅	`test`	1 535	5,42 m	3.0	Lien	`8b66f0a9126c521bae2bde127b4dc99d`
Scifact	Page d'accueil	`scifact`	✅	`train` `test`	300	5K	1.1	Lien	`5f7d1de60b170fc8027bb7898e2efca1`

? Informations Complémentaires

Nous fournissons également une variété d'informations supplémentaires dans notre page wiki . Veuillez vous référer à ces pages pour les éléments suivants:

Démarrage rapide

Installation de Beir
Exemples et tutoriels

Ensembles de données

Ensembles de données disponibles
Ensembles de données multilingues
Chargez votre ensemble de données personnalisé

Modèles

Modèles disponibles
Évaluez votre modèle personnalisé

Métrique

Mesures disponibles

Divers

Classement des beaux
Matériau couse sur ir

? Clause de non-responsabilité

Semblable aux ensembles de données TensorFlow ou à la bibliothèque de données de Face en étreignant, nous venons de télécharger et de préparer des ensembles de données publiques. Nous ne distribuons que ces ensembles de données dans un format spécifique, mais nous ne garantissons pas leur qualité ou leur équité, ou prétendons que vous avez une licence pour utiliser l'ensemble de données. Il reste la responsabilité de l'utilisateur de déterminer si vous en tant qu'utilisateur avez la permission d'utiliser l'ensemble de données sous la licence de l'ensemble de données et de citer le bon propriétaire de l'ensemble de données.

Si vous êtes propriétaire d'un ensemble de données et que vous souhaitez mettre à jour une partie de celui-ci, ou si vous ne souhaitez pas que votre ensemble de données soit inclus dans cette bibliothèque, n'hésitez pas à publier un problème ici ou à faire une demande de traction!

Si vous êtes propriétaire d'un ensemble de données et que vous souhaitez inclure votre ensemble de données ou votre modèle dans cette bibliothèque, n'hésitez pas à publier un problème ici ou à faire une demande de traction!

? Citant et auteurs

Si vous trouvez ce référentiel utile, n'hésitez pas à citer notre publication Beir: une référence hétérogène pour l'évaluation zéro des modèles de récupération de l'information:

 @inproceedings{
    thakur2021beir,
    title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

Si vous utilisez un score de référence du classement Beir, n'hésitez pas à citer nos ressources de publication pour brasser Beir: modèles de référence reproductibles et un classement officiel

 @misc{kamalloo2023resources,
      title={Resources for Brewing BEIR: Reproducible Reference Models and an Official Leaderboard}, 
      author={Ehsan Kamalloo and Nandan Thakur and Carlos Lassance and Xueguang Ma and Jheng-Hong Yang and Jimmy Lin},
      year={2023},
      eprint={2306.07471},
      archivePrefix={arXiv},
      primaryClass={cs.IR}
}

Les principaux contributeurs de ce référentiel sont:

Nandan Thakur, site Web personnel: Nandan-thakur.com

Personne de contact: Nandan Thakur, [email protected]

N'hésitez pas à nous envoyer un e-mail ou à signaler un problème, si quelque chose est cassé (et il ne devrait pas l'être) ou si vous avez d'autres questions.

Ce référentiel contient des logiciels expérimentaux et est publié dans le seul but de donner des détails de fond supplémentaires sur la publication respective.