xFinder
v0.2.3 Released!
Qingchen Yu 1,* , Zifan Zheng 1,* , Shichao Song 2,* , Zhiyu Li 1,† , Feiyu Xiong 1 , Bo Tang 1 , Ding Chen 1
1 Institut de recherche sur les algorithmes avancés, Shanghai, 2 Université Renmin de Chine
Qui devrait prêter attention à notre travail ?
Important
? Mettez-nous en vedette ! En mettant notre projet en vedette sur GitHub, vous recevrez instantanément toutes les notifications de publication. Nous apprécions votre soutien !
Nous résumons nos principales contributions comme suit :
Comme le montre la figure, les cas où les cadres d'évaluation tels que LM Eval Harness et OpenCompass n'ont pas réussi à extraire les réponses clés sont illustrés. Plus précisément, A/T/C/M représentent respectivement des tâches avec des options alphabet/texte court/étiquette catégorielle/mathématiques.
Créer un ensemble de données de référence : pour rationaliser le processus d'évaluation à l'aide de xFinder, nous avons standardisé divers ensembles de données de référence grand public dans un format JSON unifié. Pour les détails de mise en œuvre, reportez-vous à create_benchmark_dataset.py. Si vous souhaitez évaluer vos propres ensembles de données à l'aide de xFinder, veuillez vous référer à notre modèle de script fourni benchmark_dataset_template.py pour obtenir des conseils sur la conversion de format.
Préparez les paires QA et les résultats LLM : rassemblez les résultats LLM que vous souhaitez évaluer. Assurez-vous que vos données incluent les éléments suivants :
Déployer le modèle xFinder : sélectionnez l'un des modèles suivants pour le déploiement :
Après avoir déployé le modèle xFinder, suivez ces étapes pour exécuter une évaluation :
# Install xfinder
conda create -n xfinder_env python=3.10 -y
conda activate xfinder_env
pip install xfinder
# Perform an evaluation with xFinder (a built-in example)
CUDA_VISIBLE_DEVICES=0 python -m xfinder.eval --run-example --model-name xFinder-qwen1505 --inference-mode local --model-path-or-url /path/to/anonymized/model/xFinder-qwen1505Cette méthode vous permet d'évaluer plusieurs exemples stockés dans un fichier JSON.
# Initialize Evaluator object
evaluator = Evaluator (
model_name = "xFinder-qwen1505" , # Model name
inference_mode = "api" , # Inference mode, 'local' or 'api'
model_path_or_url = "http://your-anonymized-url/generate" , # Anonymized model path or URL
)
# Perform batch evaluation
data_path = "/path/to/your/data/example.json" # User needs to provide their own data path
accuracy = evaluator . evaluate ( data_path )
print ( f"Batch evaluation accuracy: { accuracy } " )Cette méthode vous permet d'évaluer des exemples individuels, qui peuvent être intégrés dans un cadre d'évaluation LLM.
# Initialize Evaluator object
evaluator = Evaluator (
model_name = "xFinder-qwen1505" , # Model name
inference_mode = "local" , # Inference mode, 'local' or 'api'
model_path_or_url = "IAAR-Shanghai/xFinder-qwen1505" , # Anonymized model path or URL
)
# Define input for a single evaluation
question = "What is the capital of France?"
llm_output = "The capital of France is Paris."
standard_answer_range = "[ " Paris " , " Lyon " , " Marseille " ]"
key_answer_type = "short_text"
correct_answer = "Paris"
# Perform single example evaluation
result = evaluator . evaluate_single_example (
question ,
llm_output ,
standard_answer_range ,
key_answer_type ,
correct_answer
)Conseil
demo.ipynb pour des exemples plus détaillés.export HF_ENDPOINT=https://hf-mirror.com pour utiliser le miroir chinois si vous ne parvenez pas à vous connecter à Hugging Face.Nous montrons des cas pour quatre types de questions où RegEx ne parvient pas à extraire ou extrait fréquemment des réponses incorrectes, tandis que xFinder extrait avec précision les réponses clés.
{
"key_answer_type" : " alphabet option " ,
"question" : " A man is seen playing guitar on a stage with others playing instruments behind him. The man grabs a guitar from the audience and begins playing both one after the other ... " ,
"llm_output" : " Option A is the correct choice as it describes ... " ,
"standard_answer_range" : " [['A', 'strums the guitar in the end, continues playing the guitar with the crowd following him as well as lining up next to him.'], ['B', 'continues playing the instruments and ends by waving to the crowd and walking off stage.'], ['C', 'then turns to the audience and gives a stuffed toy to the audience and continues playing.'], ['D', 'finally stops playing and moves his hands for the crowd to see.']] " ,
"gold_label" : " A " ,
"xFinder_output" : " A " ,
},
{
"key_answer_type" : " short text " ,
"question" : " If you really wanted a grape, where would you go to get it? Answer Choices: winery / fruit stand / field / kitchen / food " ,
"llm_output" : " The answer is winery / fruit stand / field / kitchen / food ... " ,
"standard_answer_range" : " [ " winery " , " fruit stand " , " field " , " kitchen " , " food " ] " ,
"gold_label" : " [No valid answer] " ,
"xFinder_output" : " [No valid answer] " ,
},
{
"key_answer_type" : " categorical label " ,
"question" : " How tall is the Sears Building ? " ,
"llm_output" : " The Sears Building is a specific structure, so the answer would be a Location ... " ,
"standard_answer_range" : " ['Abbreviation', 'Entity', 'Description', 'Person', 'Location', 'Number'] " ,
"gold_label" : " Location " ,
"xFinder_output" : " Location " ,
},
{
"key_answer_type" : " math " ,
"question" : " Mike made 69 dollars mowing lawns over the summer. If he spent 24 dollars buying new mower blades, how many 5 dollar games could he buy with the money he had left? " ,
"llm_output" : " To find out how many 5 dollar ... Let's calculate that: nn $45 / $5 = 9 nn So, Mike could buy 9 5 dollar games with the money he had left. " ,
"standard_answer_range" : " a(n) number / set / vector / matrix / interval / expression / function / equation / inequality " ,
"gold_label" : " 9 " ,
"xFinder_output" : " 9 " ,
}Référence : OpenCompass, LM Eval Harness, UltraEval, GPT-4. Notre méthode : xFinder-qwen1505, xFinder-qwen1518, xFinder-gemma7, xFinder-chatglm36base, xFinder-llama38, xFinder-llama38it.
Nous avons évalué leur précision dans l'extraction des réponses clés de l'ensemble de tests KAF et des ensembles de généralisation. La métrique dans le tableau est la précision.
@article{xFinder,
title={xFinder: Robust and Pinpoint Answer Extraction for Large Language Models},
author={Qingchen Yu and Zifan Zheng and Shichao Song and Zhiyu Li and Feiyu Xiong and Bo Tang and Ding Chen},
journal={arXiv preprint arXiv:2405.11874},
year={2024},
}
?Retour en haut
