EasyEdit下载 - EasyEdit源码下载

EasyEdit

其他源码

1.0.0

下载

易于使用的大型语言模型知识编辑框架。

安装 • 快速入门 • 文档 • 论文 • 演示 • 基准测试 • 贡献者 • 幻灯片 • 视频 • AK 精选

目录
？消息
编辑演示
知识编辑
- 任务定义
  - 知识插页
  - 知识更新
  - 知识擦除
- 不同技术的比较
- 评估
？概述
- 目前的实施
- 快速入门我们团队设计的部分作品
- 教程笔记本
要求
- ?点安装
- 编辑 GPU 内存使用情况
?使用EasyEdit
- 基础编辑器
  - 通过一个简单的例子进行介绍
- 评估
- 训练师
将 EasyEdit 与 KnowEdit 结合使用
- 数据集
- 用法
编辑表演
引文
?贡献者
- 其他相关项目

？消息

2024年11月19日，我们在EasyEdit中优化了某些方法（与AdaLoRA相关）并修复了计算错误（与ROME和MEMIT相关）后，更新了论文《大型语言模型知识编辑的综合研究》中的表4结果（更多细节参见#427）。这些改进带来了比以前更好的结果。我们将持续更新本文，欢迎大家讨论交流。
2024年11月11日，LLMs4Code模型编辑论文《Model Editing for LLMs4Code: How Far are We?》已被ICSE 2025接收！这项工作提出了 LLMs4Code 编辑的基准 CLMEEval，它基于 EasyEdit！
2024年11月9日，我们修复了#390中有关KnowEdit结果的错误。感谢@StarLooo 帮助我们解决这个问题。
2024年10月24日，EasyEdit增加了两种新的知识编辑方式AlphaEdit。此外，我们还修复了几个错误。

往期新闻

2024年10月23日，EasyEdit集成了从转向编辑到减轻LLM和MLLM幻觉的受限解码方法，详细信息可在DoLa和DeCo中找到。
2024年9月26日，??我们的论文《WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models》已被NeurIPS 2024接收。
2024年9月20日，??我们的论文：《Knowledge Mechanisms in Large Language Models: A Survey and Perspective》和《Editing Conceptual Knowledge for Large Language Models》已被EMNLP 2024Findings接收。
2024年7月29日，EasyEdit添加了新的模型编辑算法EMMET，将ROME推广到批量设置。这本质上允许使用 ROME 损失函数进行批量编辑。
2024-07-23，我们发布了一篇新论文：“Knowledge Mechanisms in Large Language Models: A Survey and Perspective”，回顾了知识在大型语言模型中是如何获取、利用和演化的。这项调查可能为法学硕士中精确有效地操纵（编辑）知识提供基本机制。
2024年6月4日，?? EasyEdit Paper 已被ACL 2024系统演示轨道接受。
2024-06-03，我们发布了一篇题为“WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models”的论文，并介绍了一种新的编辑任务：连续知识编辑以及相应的终身编辑方法WISE。
2024-04-24，EasyEdit 宣布支持Llama3-8B 的 ROME 方法。建议用户将其 Transformer 软件包更新至版本 4.40.0。
2024-03-29，EasyEdit 引入了对 GRACE 的回滚支持。详细介绍请参考EasyEdit文档。未来的更新将逐渐包括对其他方法的回滚支持。
2024年3月22日，发布了题为“通过知识编辑对大型语言模型进行解毒”的新论文，以及名为 SafeEdit 的新数据集和名为 DINM 的新解毒方法。
2024年3月12日，另一篇题为“Editing Conceptual Knowledge for Large Language Models”的论文发布，介绍了一个名为ConceptEdit的新数据集。
2024-03-01，EasyEdit 添加了对名为FT-M的新方法的支持。该方法涉及使用目标答案的交叉熵损失来训练特定的 MLP 层并屏蔽原始文本。它的性能优于罗马的FT-L实施。感谢第 173 期的作者提供的建议。
2024年2月27日，EasyEdit增加了对名为InstructEdit的新方法的支持，技术细节在论文“InstructEdit：基于指令的大型语言模型知识编辑”中提供。

2024年2月9日，EasyEdit增加了对动态LoRA模型编辑方法MELO'AAAI24的支持。
2024-02-06，我们发布了一篇新论文：“EasyInstruct：一种易于使用的大型语言模型指令处理框架”，并附有 HF 演示 EasyInstruct。
2024年2月6日，我们发布了LLM幻觉检测的初步工具EasyDetect，并附有演示。
2024年1月24日，EasyEdit增加了对Mistral-7B编辑的支持（手动更新transformers==4.34.0），我们还修复了评估MEND时的一些错误（轻微影响性能）。
2024年1月16日，EasyEdit增加了对精确模型编辑方法PMET'AAAI24的支持。
2024-01-03，我们发布了一篇新论文：“大型语言模型知识编辑的综合研究”，具有新的基准 KnowEdit！ KnowEdit 是通过重新组织和清理现有数据集而构建的，包括 WikiBio、ZsRE、WikiData Counterfact、WikiData 最近、Consent、Sanitation 以及新的训练/验证/测试拆分。特别感谢这些数据集的构建者和维护者。我们期待有关此主题的任何评论或讨论:)
2023年12月6日，EasyEdit增加了对终身模型编辑方法GRACE'NeurIPS24的支持。
2023年11月18日，我们的教程《Knowledge Editing for Large Language Models》已被COLING 2024接收。
2023年10月25日，我们的教程《Knowledge Editing for Large Language Models》已被AAAI 2024接收。
2023年10月24日，EasyEdit增加了对Baichuan2、ChatGLM2、InternLM、QWen高效编辑的支持，并修复了多个Bug，以提供更好的用户体验。
2023年10月14日，我们基于论文“Can We Edit Multimodal Large Language Models?”发布了MultimodalEditor。
2023年10月13日，我们发布论文《Can We Edit Multimodal Large Language Models?》被 EMNLP 2023 接受。
2023年10月8日，我们的论文《Editing Large Language Models: Problems,Methods, and Opportunities》已被EMNLP 2023接收。
2023-10-07，EasyEdit 添加了对使用多个 GPU 编辑模型的支持，使用 Huggingface Accelerate 。
2023年9月21日，EasyEdit增加了通过AdaLoRA对参数高效微调的支持，为LLM注入知识。
2023年8月31日，EasyEdit增加了对gpt-3.5-turbo官方微调API的支持，为您的编辑案例定制ChatGPT。
2023年8月15日，我们发布论文“EasyEdit：一种易于使用的大型语言模型知识编辑框架”。
2023年7月12日，我们发布0.0.1版本，支持LLM的多种知识编辑技术。 EasyEdit 有助于法学硕士更好地适应不断变化的用户需求和价值观。
2023年5月22日，我们发布论文“Editing Large Language Models: Problems,Methods, and Opportunities”，并在PaperList上提供论文列表。
2023年3月25日，EasyEdit项目已上线，正在开发中。

大型语言模型知识编辑的综合研究[论文][基准][代码]

IJCAI 2024 教程 Google 云端硬盘

COLING 2024 教程 Google 云端硬盘

AAAI 2024 教程 Google 云端硬盘

AACL 2023教程【Google Drive】【百度盘】

编辑演示

有编辑演示。 GIF 文件是由 Terminalizer 创建的。

我们提供了一个方便的 Jupyter Notebook！它允许您编辑法学硕士对美国总统的了解，从拜登切换到特朗普，甚至回到拜登。这包括 WISE、AlphaEdit、AdaLoRA 和基于提示的编辑等方法。

知识编辑

任务定义

部署的模型仍然可能会出现不可预测的错误。例如，众所周知，法学硕士会产生幻觉、延续偏见和事实衰退，因此我们应该能够调整预训练模型的特定行为。

知识编辑的目的是调整基础模型的 $(f_theta)$特定编辑描述符上的行为 $[x_e, y_e]$ 高效。

多重设定

单一知识编辑

在单次编辑后评估模型的性能。在一次编辑后，模型会重新加载原始权重（例如 LoRA 丢弃适配器权重）。你应该设置sequential_edit=False

$$theta' leftarrow text{arg} minlimits_{theta} (Vert f_theta(x_e) - y_e Vert)$$

持续知识编辑

这需要顺序编辑，并在应用所有知识更新后进行评估：

$$theta' leftarrow text{arg} minlimits_{theta} sum_{e=1}^{Vert X_e Vert} (Vert f_theta(x_e) - y_e Vert)$ $

它进行参数调整 $(x_e, y_e)$ ，在哪里 $x_e in X_e$和 $f_theta'(x_e) = y_e$ 。这里， $X_e$代表整个编辑集。要启用连续编辑，您可以设置sequential_edit=True ：README（了解更多详细信息）。

多场景

事实知识编辑

知识插页

注入法学硕士以前从未见过的知识。例如：
- 梅西获得过多少次世界杯冠军？ 0 $右箭头$ 1 ：

知识更新

更新过时的知识。例如：
- 美国总统：唐纳德·特朗普 $右箭头$乔·拜登：

知识擦除

删除敏感信息。例如：
- 某人的电话号码是 XXXX $右箭头$ __

在不影响不相关样本上的模型行为的情况下，最终目标是创建编辑后的模型 $(f_theta')$ 。

安全编辑

**解毒LLM**致力于构建安全可信的大语言模型（LLM）。知识编辑侧重于特定领域进行永久性调整，而不会影响整体性能。然后，通过知识编辑对 LLM 进行解毒，利用少量数据（通常是一个实例）来纠正 LLM 的有毒行为。编辑后的LLM可以防御各种恶意输入。 [自述文件](https://github.com/zjunlp/EasyEdit/blob/main/examples/SafeEdit.md)

多模态模型编辑

图像字幕和视觉问答的编辑任务。自述文件

个性编辑

鉴于个人的观点可以反映其人格特质的各个方面，拟议的任务通过编辑法学硕士对特定主题的观点来初步尝试编辑他们的个性。我们利用已建立的“五大”理论作为构建数据集和评估法学硕士个性表达的基础。自述文件

评估

基于Logits

ES ：根据预生成文本的logits评估编辑成功率。
DD ：根据预生成文本的逻辑来评估模型是否改变了对其他主题的看法。

基于世代的

Acc ：根据目标个性编辑模型后生成文本的准确性。
TPEI ：测量从编辑的模型生成的意见文本是否更倾向于目标个性。
PAE ：利用 GPT-4 评估生成文本中的个性特征。

当评估Acc和TPEI时，您可以从这里下载经过训练的分类器。

不同技术的比较

评估

知识编辑过程通常会影响与编辑示例密切相关的一组广泛输入的预测，称为编辑范围。

成功的编辑应该在编辑范围内调整模型的行为，同时保留不相关的输入：

$$ f_{theta_{e}}(x) = begin{cases} y_e & text{if } x in I(x_e,y_e) \ f_{theta}(x) & text{if } x in O(x_e, y_e) end{cases} $$

Reliability ：使用给定编辑描述符进行编辑的成功率
Generalization ：编辑范围内编辑的成功率
Locality ：模型的输出在编辑不相关的输入后是否发生变化
Portability ：推理/应用编辑的成功率（一跳、同义词、逻辑概括）
Efficiency ：时间和内存消耗

？概述

EasyEdit 是一个用于编辑大型语言模型 (LLM) 的 Python 包，例如GPT-J 、 Llama 、 GPT-NEO 、 GPT2 、 T5 （支持从1B到65B 的模型），其目标是在特定领域而不会对其他输入的性能产生负面影响。它被设计为易于使用且易于扩展。

EasyEdit 包含统一的Editor 、 Method和Evaluate框架，分别代表编辑场景、编辑技术和评估方法。
每个知识编辑场景都包含三个组件：
- Editor ：例如LM的BaseEditor（事实知识和生成编辑器），MultiModalEditor（多模态知识）。
- Method ：所使用的具体知识编辑技术（例如ROME 、 MEND 、..）。
- Evaluate ：评估知识编辑性能的指标。
  - Reliability , Generalization , Locality , Portability
目前支持的知识编辑技术如下：
- 基于内存：SERAC、IKE、GRACE、MELO、WISE
- 元学习：MEND、InstructEdit、MALMEN
- 定位然后编辑：KN、ROME、MEMIT、PMET、DINM、R-ROME、EMMET
- FT-L
注1：由于该工具包兼容性有限，不支持T-Patcher、KE、CaliNet等部分知识编辑方法。
注2：同样，由于同样的原因，MALMEN方法仅部分支持，并将继续改进。

目前的实施

您可以根据您的具体需求选择不同的编辑方式。

方法	T5	GPT-2	GPT-J	GPT-NEO	骆驼	百川	聊天GLM	实习生LM	奎文	米斯特拉尔
金融时报	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
阿达洛拉					✅		✅
塞拉克	✅	✅	✅		✅
IKE	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
修补	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
KN	✅	✅	✅		✅	✅	✅	✅	✅	✅
罗马		✅	✅	✅	✅	✅	✅	✅	✅	✅
罗马		✅	✅	✅	✅	✅	✅	✅	✅	✅
梅特		✅	✅	✅	✅	✅	✅	✅	✅	✅
埃米特		✅	✅		✅
优雅		✅	✅		✅
梅洛		✅
PMET			✅		✅
指示编辑		✅			✅
DINM		✅			✅					✅
明智的		✅	✅		✅	✅			✅
Alpha编辑		✅	✅		✅

❗️❗️如果您打算使用Mistral，请手动将transformers库更新到4.34.0版本。您可以使用以下代码： pip install transformers==4.34.0 。

一些作品的快速入门

工作	描述	小路
指示编辑	InstructEdit：大型语言模型的基于指令的知识编辑	快速入门
DINM	通过知识编辑消除大型语言模型的毒害	快速入门
明智的	WISE：重新思考大型语言模型终身模型编辑的知识记忆	快速入门
概念编辑	编辑大型语言模型的概念知识	快速入门
MM编辑	我们可以编辑多模态大型语言模型吗？	快速入门
性格编辑	编辑大型语言模型的个性	快速入门
迅速的	基于PROMPT的知识编辑方法	快速入门

数据集

基准测试：KnowEdit [抱脸][WiseModel][ModelScope]

❗️❗️需要说明的是， KnowEdit是通过重新组织和扩展现有数据集（包括WikiBio 、 ZsRE 、 WikiData _Counterfact 、 _{WikiDataRecent} 、 Consent 、 Sanitation）构建的，对知识编辑进行综合评估。特别感谢这些数据集的构建者和维护者。

请注意，Counterfact 和 WikiData _Counterfact不是同一个数据集。

任务	知识插入	知识修改				知识擦除
数据集	维基_最近	ZsRE	维基百科	维基数据_反事实	康文森特	卫生
类型	事实	问答	幻觉	反事实	情绪	不需要的信息
＃火车	第570章	10,000	第592章	1,455	14,390	80
＃测试	1,266	1301	1,392 人	第885章	800	80

我们提供了详细的脚本供用户轻松使用KnowEdit，请参考示例。

数据集描述

ZsRE：是一个上下文无关的问答任务。给定一个基于主题和关系的问题，模型预计会提供正确的对象作为答案。
Wiki_最近：该数据集特别关注 2022 年 7 月后最近插入 WikiData 的三元组。
WikiBio：原始数据集是通过提示 GPT-3 使用 WikiBio 中的主题生成 238 个维基百科风格的传记而创建的。
WikiData_反事实：由于尾部实体通常不会被模型捕获，因此不适合测试修改编辑，RippleEdit 收集有关流行实体的三元组，其中主题对应于维基百科中浏览次数最多的页面之一。
Convsent：这是一项情绪编辑任务，用于评估模型修改对话代理对特定主题的情绪而不影响其对其他主题的响应的能力。
卫生：该数据集专门解决与学习的语言模型相关的隐私问题。

数据集结构

 knowedit
├── WikiBio
│   ├── wikibio-test-all.json
│   └── wikibio-train-all.json
├── ZsRE
│   └── ZsRE-test-all.json
├── wiki_counterfact
│   ├── test_cf.json
│   └── train_cf.json
├── convsent
│   ├── blender_test.json
│   ├── blender_train.json
│   └── blender_val.json
├── convsent
│   ├── trivia_qa_test.json
│   └── trivia_qa_train.json
└── wiki_recent
    ├── recent_test.json
    └── recent_train.json

中文知识数据集：CKnowEdit

数据集	抱脸	智慧模型	模型范围	描述
知道编辑	[拥抱脸]	[智慧模型]	[模型范围]	中文知识编辑数据集

在这里，您可以关注CKnowEdit.md来了解更多有关CKnowEdit的详细信息并进行中文知识编辑实验。

数据集描述

CKnowEdit是一个高质量的中文知识编辑数据集，具有很强的中文特色，所有数据均来源于中文知识库。它经过精心设计，旨在更深入地洞察当前法学硕士在理解中文方面固有的细微差别和挑战，为法学硕士内精炼中文特定知识提供了强大的资源。

CKnowEdit中数据的字段说明如下：

 "prompt" : query inputed to the model ( str )
"target_old" : the incorrect response previously generated by the model ( str )
"target_new" : the accurate answer of the prompt ( str )
"portability_prompt" : new prompts related to the target knowledge ( list or None )
"portability_answer" : accurate answers corresponding to the portability_prompt ( list or None )
"locality_prompt" : new prompts unrelated to the target knowledge ( list or None )
"locality_answer" : accurate answers corresponding to the locality_prompt ( list or None )
"rephrase" : alternative ways to phrase the original prompt ( list )

数据集结构

 CknowEdit
├── Chinese Literary Knowledge
│   ├── Ancient Poetry
│   ├── Proverbs
│   └── Idioms
├── Chinese Linguistic Knowledge
│   ├── Phonetic Notation
│   └── Classical Chinese
├── Chinese Geographical Knowledge
└── Ruozhiba

事实知识数据集

数据集	谷歌云端硬盘	百度网盘	描述
ZsRE加	[谷歌云端硬盘]	[百度网盘]	使用问题改写的问答数据集
反事实加	[谷歌云端硬盘]	[百度网盘]	使用实体替换的 Counterfact 数据集

我们提供 zsre 和 counterfact 数据集来验证知识编辑的有效性。您可以在这里下载它们。 [谷歌云端硬盘]、[百度网盘]。

对于局部性，除了测试不相关的实例之外，我们还提供了对分散注意力的测试（参考：检测编辑失败...）、其他归因和其他下游任务（例如常识推理）。
为了可移植性，它测试模型是否可以应用编辑后的实例进行推理。我们提供对一跳推理、主题别名和逆关系（例如，配偶之间的一对一关系应该双向编辑）的评估。

数据集描述

 editing-data
├── counterfact
│   ├── counterfact-edit.json
│   ├── counterfact-train.json
│   └── counterfact-val.json
├── locality
│   ├── Commonsense Task
│   │   ├── piqa_valid-labels.lst
│   │   └── piqa_valid.jsonl
│   ├── Distracting Neighbor
│   │   └── counterfact_distracting_neighbor.json
│   └── Other Attribution
│       └── counterfact_other_attribution.json
├── portability
│   ├── Inverse Relation
│   │   └── zsre_inverse_relation.json
│   ├── One Hop
│   │   ├── counterfact_portability_gpt4.json
│   │   └── zsre_mend_eval_portability_gpt4.json
│   └── Subject Replace
│       ├── counterfact_subject_replace.json
│       └── zsre_subject_replace.json
└── zsre
    ├── zsre_mend_eval.json
    ├── zsre_mend_train_10000.json
    └── zsre_mend_train.json

counterfact：使用实体替换的原始counterfact数据集
zsre：使用问题改写的原始问答数据集
locality（局部性的评估，详见本文）
- Commonsense Task：对常识任务等其他下游任务的评估
- Distracting Neighbor：对分散注意力的邻居进行测试（参考：检测编辑失败...）
- 其他归因
可移植性
- 逆关系：对spouse等一对一关系的评价
- One Hop：一跳推理的评估
- 主题替换：同义词替换评估

概念知识数据集：ConceptEdit

数据集	谷歌云端硬盘	HuggingFace 数据集	描述
概念编辑	[谷歌云端硬盘]	[HuggingFace 数据集]	用于编辑概念知识的数据集

在这里，您可以按照ConceptEdit.md来运行概念编辑实验。

数据集描述

 data
└──concept_data.json
    ├──final_gpt2_inter.json
    ├──final_gpt2_intra.json
    ├──final_gptj_inter.json
    ├──final_gptj_intra.json
    ├──final_llama2chat_inter.json
    ├──final_llama2chat_intra.json
    ├──final_mistral_inter.json
    └──final_mistral_intra.json

概念特定评估指标

Instance Change ：捕获这些实例级更改的复杂性
Concept Consistency ：生成的概念定义的语义相似度

多模态知识数据集：MMEdit

数据集	谷歌云端硬盘	百度网盘	描述
电子集成电路	[谷歌云端硬盘]	[百度网盘]	用于编辑图像字幕的数据集
电子质量保证	[谷歌云端硬盘]	[百度网盘]	用于编辑视觉问答的数据集

E-IC和E-VQA中使用的所有图像均可在 Google Drive 上下载
对于locality来说，它与事实编辑相同，以衡量不相关的事实是否保留其输出。
对于多模态局部性，它评估编辑对视觉模块的影响，这与常规局部性类似。

数据集描述

 editing-data
├── caption
│   ├── caption_train_edit.json
│   └── caption_eval_edit.json
├── locality
│   ├── NQ dataset
│   │   ├── train.json
│   │   └── validation.json
├── multimodal_locality
│   ├── OK-VQA dataset
│   │   ├── okvqa_loc.json
└── vqa
    ├── vqa_train.json
    └── vqa_eval.json

Multimodal locality（多模态局部性的评估，请参阅本文数据集的详细信息）

用于解毒法学硕士的数据集：SafeEdit

数据集	HuggingFace 数据集	描述
安全编辑	[HuggingFace 数据集]	法学硕士解毒数据集

在这里，您可以按照SafeEdit.md来运行解毒编辑实验。

数据集描述

 data
└──SafeEdit_train.json
└──SafeEdit_val.json
└──SafeEdit_test.json

排毒具体评估指标

Defense Duccess (DS) ：对抗性输入（攻击提示+有害问题）编辑LLM的解毒成功率，用于修改LLM。
Defense Generalization (DG) ：编辑后的LLM对域外恶意输入的解毒成功率。
General Performance ：不相关任务表现的副作用。

教程笔记本

方法	描述	GPT-2	骆驼
IKE	情境学习 (ICL) 编辑	[Colab-gpt2]	[Colab-llama]
罗马	定位然后编辑神经元	[Colab-gpt2]	[Colab-llama]
梅特	定位然后编辑神经元	[Colab-gpt2]	[Colab-llama]

要求

?点安装

注意：EasyEdit 请使用 Python 3.9+要开始使用，只需安装 conda 并运行：

git clone https://github.com/zjunlp/EasyEdit.git
conda create -n EasyEdit python=3.9.7
...
pip install -r requirements.txt

编辑 GPU 内存使用情况

我们的结果都是基于默认配置

	骆驼-2-7B	聊天glm2	GPT-J-6B	GPT-XL
金融时报	60GB	58GB	55GB	7GB
塞拉克	42GB	32GB	31GB	10GB
IKE	52GB	38GB	38GB	10GB
修补	46GB	37GB	37GB	13GB
KN	42GB	39GB	40GB	12GB
罗马	31GB	29GB	27GB	10GB
梅特	33GB	31GB	31GB	11GB
阿达洛拉	29GB	24GB	25GB	8GB
优雅	27GB		23GB	6GB
明智的	34GB		27GB	7GB

?使用EasyEdit

编辑大型语言模型 (LLM) 大约5 秒
以下示例向您展示如何使用 EasyEdit 进行编辑。更多示例和教程可以在示例中找到

基础编辑器

BaseEditor是语言模态知识编辑的类。您可以根据您的具体需求选择合适的编辑方法。

由于Transformer版本和GPU型号不同，编辑结果可能会略有波动。

通过一个简单的例子进行介绍

凭借EasyEdit的模块化和灵活性，您可以轻松地使用它来编辑模型。

步骤1：定义一个PLM作为要编辑的对象。选择要编辑的 PLM。 EasyEdit支持在 HuggingFace 上检索部分模型（到目前为止T5 、 GPTJ 、 GPT-NEO 、 LlaMA ）。对应的配置文件目录为hparams/YUOR_METHOD/YOUR_MODEL.YAML ，如hparams/MEND/gpt2-xl.yaml ，设置对应的model_name来选择知识编辑的对象。

 model_name : gpt2-xl
model_class : GPT2LMHeadModel
tokenizer_class : GPT2Tokenizer
tokenizer_name : gpt2-xl
model_parallel : false # true for multi-GPU editing

Step2：选择合适的知识编辑方法

 ## In this case, we use MEND method, so you should import `MENDHyperParams`
from easyeditor import MENDHyperParams
## Loading config from hparams/MEMIT/gpt2-xl.yaml
hparams = MENDHyperParams . from_hparams ( './hparams/MEND/gpt2-xl' )

Step3：提供编辑描述符和编辑目标

 ## edit descriptor: prompt that you want to edit
prompts = [
    'What university did Watts Humphrey attend?' ,
    'Which family does Ramalinaceae belong to' ,
    'What role does Denny Herzig play in football?'
]
## You can set `ground_truth` to None !!!(or set to original output)
ground_truth = [ 'Illinois Institute of Technology' , 'Lecanorales' , 'defender' ]
## edit target: expected output
target_new = [ 'University of Michigan' , 'Lamiinae' , 'winger' ]

第四步：将它们组合成一个BaseEditor EasyEdit提供了一种简单且统一的方式来初始化Editor ，例如 Huggingface: from_hparams 。

 ## Construct Language Model Editor
editor = BaseEditor . from_hparams ( hparams )

步骤5：提供评估数据注意，可移植性和局部性的数据都是可选的（设置为“无”仅用于基本编辑成功率评估）。两者的数据格式都是dict ，对于每个测量维度，都需要提供相应的提示及其对应的groundtruth。以下是数据示例：

 locality_inputs = {
    'neighborhood' :{
        'prompt' : [ 'Joseph Fischhof, the' , 'Larry Bird is a professional' , 'In Forssa, they understand' ],
        'ground_truth' : [ 'piano' , 'basketball' , 'Finnish' ]
    },
    'distracting' : {
        'prompt' : [ 'Ray Charles, the violin Hauschka plays the instrument' , 'Grant Hill is a professional soccer Magic Johnson is a professional' , 'The law in Ikaalinen declares the language Swedish In Loviisa, the language spoken is' ],
        'ground_truth' : [ 'piano' , 'basketball' , 'Finnish' ]
    }
}

在上面的例子中，我们评估了有关“邻里”和“分散注意力”的编辑方法的性能。

Step6：编辑和评估完成！我们可以对您要编辑的模型进行编辑和评估。 edit功能将返回一系列与编辑过程相关的指标以及修改后的模型权重。 [ sequential_edit=True表示连续编辑]

 metrics , edited_model , _ = editor . edit (
    prompts = prompts ,
    ground_truth = ground_truth ,
    target_new = target_new ,
    locality_inputs = locality_inputs ,
    sequential_edit = False # True: start continuous editing ✈️
)
## metrics: edit success, rephrase success, locality e.g.
## edited_model: post-edit model