通过生成特定任务的考试来自动评估检索增强语言模型

该存储库是 ICML 2024 论文《自动评估检索增强语言模型与特定任务考试生成》的配套文件（博客）

替代文本

目标：对于给定的知识库：

利用法学硕士生成与感兴趣的任务相关的多项选择考试。
在本次考试中评估 RaG 系统的变体。
评估并迭代改进考试。

您唯一需要试验此代码的是一个json文件，其中包含您的知识库，格式如下所述。

I-封装结构

Data ：对于每个用例，包含：
- 预处理代码
- 知识库数据
- 考试数据（原始数据和处理后的数据）
- 检索索引
ExamGenerator ：使用知识库和 LLM 生成器生成和处理多项选择考试的代码。
ExamEvaluator ：使用组合(Retrieval System, LLM, ExamCorpus)评估考试的代码，依赖于lm-harness库。
LLMServer ：统一 LLM 端点来生成考试。
RetrievalSystems ：统一检索系统类（例如 DPR、BM25、嵌入相似度...）。

II - 考试数据生成过程

我们在 4 个感兴趣的任务上说明了我们的方法：AWS DevOPS 故障排除、StackExchange 问答、Sec Filings 问答和 Arxiv 问答。然后我们展示如何使该方法适应任何任务。

堆栈交换

运行以下命令，其中question-date是原始数据生成的数据。如果您想保存考试，请添加--save-exam如果您只对分析感兴趣，则将其删除。

 cd auto-rag-eval
rm -rf Data/StackExchange/KnowledgeCorpus/main/ *
python3 -m Data.StackExchange.preprocessor
python3 -m ExamGenerator.question_generator --task-domain StackExchange
python3 -m ExamGenerator.multi_choice_exam --task-domain StackExchange --question-date " question-date " --save-exam

Arxiv

 cd auto-rag-eval
rm -rf Data/Arxiv/KnowledgeCorpus/main/ *
python3 -m Data.Arxiv.preprocessor
python3 -m ExamGenerator.question_generator --task-domain Arxiv
python3 -m ExamGenerator.multi_choice_exam --task-domain Arxiv --question-date " question-date " --save-exam

证券交易委员会备案

 cd auto-rag-eval
rm -rf Data/SecFilings/KnowledgeCorpus/main/ *
python3 -m Data.SecFilings.preprocessor
python3 -m ExamGenerator.question_generator --task-domain SecFilings
python3 -m ExamGenerator.multi_choice_exam --task-domain SecFilings --question-date " question-date " --save-exam

添加您自己的任务 MyOwnTask

创建文件结构

 cd src/llm_automated_exam_evaluation/Data/
mkdir MyOwnTask
mkdir MyOwnTask/KnowledgeCorpus
mkdir MyOwnTask/KnowledgeCorpus/main
mkdir MyOwnTask/RetrievalIndex
mkdir MyOwnTask/RetrievalIndex/main
mkdir MyOwnTask/ExamData
mkdir MyOwnTask/RawExamData

创建文档语料库

在MyOwnTask/KnowledgeCorpus/main中存储一个json文件，其中包含文档列表，每个文档的格式如下。有关一些示例，请参阅DevOps/html_parser.py 、 DevOps/preprocessor.py或StackExchange/preprocessor.py 。

{ ' source ' : ' my_own_source ' ,
' docs_id ' : ' Doc1022 ' ,
' title ' : ' Dev Desktop Set Up ' ,
' section ' : ' How to [...] ' ,
' text ' : " Documentation Text, should be long enough to make informative questions but shorter enough to fit into context " ,
' start_character ' : ' N/A ' ,
' end_character ' : ' N/A ' ,
' date ' : ' N/A ' ,
}

生成检查和检索索引

首先生成原始检查和检索索引。请注意，您可能需要添加对您自己的法学硕士的支持，更多信息如下。您可能想要修改ExamGenerator/question_generator.py中的LLMExamGenerator类中用于考试生成的提示。

python3 -m ExamGenerator.question_generator --task-domain MyOwnTask

完成此操作后（可能需要几个小时，具体取决于文档大小），生成已处理的检查。为此，请检查 RawExamData 中的 MyRawExamDate（例如 2023091223）并运行：

python3 -m ExamGenerator.multi_choice_exam --task-domain MyOwnTask  --question-date MyRawExamDate --save-exam

带上你自己的LLM

我们目前支持LLMServer文件中 Bedrock (Claude) 的端点。您自己需要的唯一东西是一个类，它具有一个inference函数，可以在输入中接受提示并输出提示和完整的文本。修改ExamGenerator/question_generator.py中的LLMExamGenerator类以合并它。不同的法学硕士会产生不同类型的问题。因此，您可能需要修改ExamGenerator/multi_choice_questions.py中的原始考试解析。您可以使用ExamGenerator中的failed_questions.ipynb笔记本进行实验。

IV - 考试评估流程

我们利用 lm-harness 包在生成的考试中评估（LLM&Retrieval）系统。为此，请按照以下步骤操作：

创造标杆

为您的任务创建一个基准文件夹，此处为DevOpsExam ，请参阅ExamEvaluator/DevOpsExam了解模板。它包含一个用于提示模板的代码文件 preprocess_exam,py ，更重要的是，一组用于评估模型的任务：

DevOpsExam包含与 ClosedBook（非检索）和 OpenBook（Oracle 检索）相关的任务。
DevOpsRagExam包含与检索变体（DPR/Embeddings/BM25...）相关的任务。

提供的脚本task_evaluation.sh说明了任务中Llamav2:Chat:13B和Llamav2:Chat:70B的评估，分别使用上下文学习 (ICL) 和 0、1 和 2 个样本。

引文

要引用这项工作，请使用

@misc{autorageval2024,
      title={Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation}, 
      author={Gauthier Guinet and Behrooz Omidvar-Tehrani and Anoop Deoras and Laurent Callot},
      year={2024},
      eprint={2405.13622},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}