EasyEdit

其他源碼

1.0.0

下載

易於使用的大型語言模型知識編輯框架。

安裝 • 快速入門 • 文件 • 論文 • 簡報 • 基準測試 • 貢獻者 • 投影片 • 影片 • AK 精選

目錄
？
編輯示範
知識編輯
- 任務定義
  - 知識插頁
  - 知識更新
  - 知識擦除
- 不同技術的比較
- 評估
？
- 目前的實施
- 快速入門我們團隊設計的部分作品
- 教程筆記本
要求
- ?點安裝
- 編輯 GPU 記憶體使用情況
?使用EasyEdit
- 基礎編輯器
  - 透過一個簡單的例子來介紹
- 評估
- 訓練師
將 EasyEdit 與 KnowEdit 結合使用
- 數據集
- 用法
編輯表演
引文
?貢獻者
- 其他相關項目

？

2024年11月19日，我們在EasyEdit中優化了某些方法（與AdaLoRA相關）並修復了計算錯誤（與ROME和MEMIT相關）後，更新了論文《大型語言模型知識編輯的綜合研究》中的表4結果（更多細節參見#427）。這些改進帶來了比以前更好的結果。我們將持續更新本文，歡迎大家討論交流。
2024年11月11日，LLMs4Code模型編輯論文《Model Editing for LLMs4Code: How Far are We?》已被ICSE 2025接收！這項工作提出了 LLMs4Code 編輯的基準 CLMEEval，它是基於 EasyEdit！
2024年11月9日，我們修正了#390中有關KnowEdit結果的錯誤。感謝@StarLooo 幫助我們解決這個問題。
2024年10月24日，EasyEdit新增兩種知識編輯方式AlphaEdit。此外，我們還修復了幾個錯誤。

往期新聞

2024年10月23日，EasyEdit整合了從轉向編輯到減輕LLM和MLLM幻覺的受限解碼方法，詳細資訊可在DoLa和DeCo中找到。
2024年9月26日，??我們的論文《WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models》已被NeurIPS 2024接收。
2024年9月20日，??我們的論文：《Knowledge Mechanisms in Large Language Models: A Survey and Perspective》和《Editing Conceptual Knowledge for Large Language Models》已被EMNLP 2024Findings接收。
2024年7月29日，EasyEdit新增了新的模型編輯演算法EMMET，將ROME推廣到大量設定。這本質上允許使用 ROME 損失函數進行批次編輯。
2024-07-23，我們發布了一篇新論文：“大型語言模型中的知識機制：調查與展望”，回顧了知識在大型語言模型中如何獲取、利用和演化。這項調查可能為法學碩士中精確有效地操縱（編輯）知識提供基本機制。
2024年6月4日，?? EasyEdit Paper 已被ACL 2024系統示範軌道接受。
2024-06-03，我們發布了一篇題為“WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models”的論文，並介紹了一種新的編輯任務：連續知識編輯以及相應的終身編輯方法WISE。
2024-04-24，EasyEdit 宣布支援Llama3-8B 的 ROME 方法。建議使用者將其 Transformer 軟體包更新至版本 4.40.0。
2024-03-29，EasyEdit 引入了對 GRACE 的回溯支援。詳細介紹請參考EasyEdit文件。未來的更新將逐漸包括對其他方法的回滾支援。
2024年3月22日，發布了題為「透過知識編輯對大型語言模型進行解毒」的新論文，以及名為 SafeEdit 的新資料集和名為 DINM 的新解毒方法。
2024年3月12日，另一篇題為「Editing Conceptual Knowledge for Large Language Models」的論文發布，介紹了一個名為ConceptEdit的新資料集。
2024-03-01，EasyEdit 新增了對名為FT-M的新方法的支援。該方法涉及使用目標答案的交叉熵損失來訓練特定的 MLP 層並屏蔽原始文字。它的性能優於羅馬的FT-L實施。感謝第 173 期的作者提供的建議。
2024年2月27日，EasyEdit增加了對名為InstructEdit的新方法的支持，技術細節在論文「InstructEdit：基於指令的大型語言模型知識編輯」中提供。

2024年2月9日，EasyEdit增加了對動態LoRA模型編輯方法MELO'AAAI24的支援。
2024-02-06，我們發布了一篇新論文：“EasyInstruct：一種易於使用的大型語言模型指令處理框架”，並附有 HF 演示 EasyInstruct。
2024年2月6日，我們發布了LLM幻覺檢測的初步工具EasyDetect，並附有示範。
2024年1月24日，EasyEdit增加了對Mistral-7B編輯的支援（手動更新transformers==4.34.0），我們也修正了評估MEND時的一些錯誤（輕微影響效能）。
2024年1月16日，EasyEdit增加了對精確模型編輯方法PMET'AAAI24的支持。
2024-01-03，我們發布了一篇新論文：“大型語言模型知識編輯的綜合研究”，具有新的基準 KnowEdit！ KnowEdit 是透過重新組織和清理現有資料集而建構的，包括 WikiBio、ZsRE、WikiData Counterfact、WikiData 最近、Consent、Sanitation 以及新的訓練/驗證/測試分割。特別感謝這些資料集的建構者和維護者。
2023年12月6日，EasyEdit增加了終身模型編輯方法GRACE'NeurIPS24的支援。
2023年11月18日，我們的教學《Knowledge Editing for Large Language Models》已被COLING 2024接收。
2023年10月25日，我們的教學「Knowledge Editing for Large Language Models」已被AAAI 2024接收。
2023年10月24日，EasyEdit增加了對Baichuan2、ChatGLM2、InternLM、QWen高效編輯的支持，並修復了多個Bug，以提供更好的用戶體驗。
2023年10月14日，我們以論文「Can We Edit Multimodal Large Language Models?」發表了MultimodalEditor。
2023年10月13日，我們發表論文《Can We Edit Multimodal Large Language Models?》被 EMNLP 2023 接受。
2023年10月8日，我們的論文《Editing Large Language Models: Problems,Methods, and Opportunities》已被EMNLP 2023接收。
2023-10-07，EasyEdit 增加了對使用多個 GPU 編輯模型的支持，使用 Huggingface Accelerate 。
2023年9月21日，EasyEdit增加了透過AdaLoRA對參數高效微調的支持，為LLM注入知識。
2023年8月31日，EasyEdit增加了對gpt-3.5-turbo官方微調API的支持，為您的編輯案例定制ChatGPT。
2023年8月15日，我們發布論文「EasyEdit：一個易於使用的大型語言模型知識編輯框架」。
2023年7月12日，我們發布0.0.1版本，支援LLM的多種知識編輯技術。 EasyEdit 有助於法學碩士更好地適應不斷變化的使用者需求和價值觀。
2023年5月22日，我們發布了論文“Editing Large Language Models: Problems,Methods, and Opportunities”，並在PaperList上提供了論文清單。
2023年3月25日，EasyEdit專案已上線，正在開發中。

大型語言模型知識編輯的綜合研究[論文][基準][程式碼]

IJCAI 2024 教學 Google 雲端硬碟

COLING 2024 教學 Google 雲端硬碟

AAAI 2024 教學 Google 雲端硬碟

AACL 2023教學【Google Drive】【百度盤】

編輯示範

有編輯示範。 GIF 檔案是由 Terminalizer 建立的。

我們提供了一個方便的 Jupyter Notebook！它允許您編輯法學碩士對美國總統的了解，從拜登切換到川普，甚至回到拜登。這包括 WISE、AlphaEdit、AdaLoRA 和基於提示的編輯等方法。

知識編輯

任務定義

部署的模型仍然可能會出現不可預測的錯誤。例如，眾所周知，法學碩士會產生幻覺、延續偏見和事實衰退，因此我們應該能夠調整預訓練模型的特定行為。

知識編輯的目的是調整基礎模型的 $(f_theta)$特定編輯描述符上的行為 $[x_e, y_e]$高效。

多重設定

單一知識編輯

在單次編輯後評估模型的表現。模型在單次編輯後重新載入原始權重（例如 LoRA 丟棄適配器權重）。你應該設定sequential_edit=False

$$theta' leftarrow text{arg} minlimits_{theta} (Vert f_theta(x_e) - y_e Vert)$$

持續知識編輯

這需要順序編輯，並在應用所有知識更新後進行評估：

$$theta' leftarrow text{arg} minlimits_{theta} sum_{e=1}^{Vert X_e Vert} (Vert f_theta(x_e) - y_e Vert)$ $

它進行參數調整 $(x_e, y_e)$ ，在哪裡 $x_e in X_e$和 $f_theta'(x_e) = y_e$ 。這裡， $X_e$代表整個編輯集。若要啟用連續編輯，您可以設定sequential_edit=True ：README（了解更多詳細資訊）。

多場景

事實知識編輯

知識插頁

注入法學碩士以前從未見過的知識。例如：
- 梅西獲得過幾次世界盃冠軍？ 0 $右箭頭$ 1 ：

知識更新

更新過時的知識。例如：
- 美國總統：唐納川普 $右箭頭$喬·拜登：

知識擦除

刪除敏感資訊。例如：
- 某人的電話號碼是 XXXX $右箭頭$ __

在不影響不相關樣本上的模型行為的情況下，最終目標是建立編輯後的模型 $(f_theta')$ 。

安全編輯

**解毒LLM**致力於建立安全可信的大語言模型（LLM）。知識編輯著重於特定領域進行永久性調整，而不會影響整體表現。然後，透過知識編輯對 LLM 進行解毒，利用少量資料（通常是一個實例）來糾正 LLM 的有毒行為。編輯後的LLM可以防禦各種惡意輸入。 [自述文件](https://github.com/zjunlp/EasyEdit/blob/main/examples/SafeEdit.md)

多模態模型編輯

圖片字幕和視覺問答的編輯任務。自述文件

個性編輯

鑑於個人的觀點可以反映其人格特質的各個方面，擬議的任務透過編輯法學碩士對特定主題的觀點來初步嘗試編輯他們的個性。我們利用已建立的「五大」理論作為建構資料集和評估法學碩士個性表達的基礎。自述文件

評估

基於Logits

ES ：根據預生成文字的logits評估編輯成功率。
DD ：根據預生成文本的邏輯來評估模型是否改變了對其他主題的看法。

基於世代的

Acc ：根據目標個性編輯模型後產生文字的準確性。
TPEI ：測量從編輯的模型產生的意見文本是否更傾向於目標個性。
PAE ：利用 GPT-4 評估生成文本中的個性特徵。

當評估Acc和TPEI時，您可以從這裡下載經過訓練的分類器。

不同技術的比較

評估

知識編輯過程通常會影響與編輯範例密切相關的一組廣泛輸入的預測，稱為編輯範圍。

成功的編輯應該在編輯範圍內調整模型的行為，同時保留不相關的輸入：

$$ f_{theta_{e}}(x) = begin{cases} y_e & text{if } x in I(x_e,y_e) \ f_{theta}(x) & text{if } x in O(x_e, y_e) end{事例} $$

Reliability ：使用給定編輯描述符進行編輯的成功率
Generalization ：編輯範圍內編輯的成功率
Locality ：模型的輸出在編輯不相關的輸入後是否發生變化
Portability ：推理/應用編輯的成功率（一跳、同義詞、邏輯概括）
Efficiency ：時間和記憶體消耗

？

EasyEdit 是一個用於編輯大型語言模型 (LLM) 的 Python 套件，例如GPT-J 、 Llama 、 GPT-NEO 、 GPT2 、 T5 （支援從1B到65B 的模型），其目標是在特定領域而不會對其他輸入的效能產生負面影響。它被設計為易於使用且易於擴展。

EasyEdit 包含統一的Editor 、 Method和Evaluate框架，分別代表編輯場景、編輯技術和評估方法。
每個知識編輯場景都包含三個元件：
- Editor ：例如LM的BaseEditor（事實知識和生成編輯器），MultiModalEditor（多模態知識）。
- Method ：所使用的具體知識編輯技術（例如ROME 、 MEND 、..）。
- Evaluate ：評估知識編輯表現的指標。
  - Reliability , Generalization , Locality , Portability
目前支援的知識編輯技術如下：
- 基於記憶體：SERAC、IKE、GRACE、MELO、WISE
- 元學習：MEND、InstructEdit、MALMEN
- 定位然後編輯：KN、ROME、MEMIT、PMET、DINM、R-ROME、EMMET
- FT-L
註1：由於此工具包相容性有限，不支援T-Patcher、KE、CaliNet等部分知識編輯方法。
註2：同樣，由於同樣的原因，MALMEN方法僅部分支持，並將繼續改進。

目前的實施

您可以根據您的特定需求選擇不同的編輯方式。

方法	T5	GPT-2	GPT-J	GPT-NEO	駱駝	百川	聊天GLM	實習生LM	奎文	米斯特拉爾
金融時報	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
阿達洛拉					✅		✅
獅子山	✅	✅	✅		✅
IKE	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
修補	✅	✅	✅	✅	✅	✅	✅	✅	✅	✅
KN	✅	✅	✅		✅	✅	✅	✅	✅	✅
羅馬		✅	✅	✅	✅	✅	✅	✅	✅	✅
羅馬		✅	✅	✅	✅	✅	✅	✅	✅	✅
梅特		✅	✅	✅	✅	✅	✅	✅	✅	✅
埃米特		✅	✅		✅
優雅		✅	✅		✅
梅洛		✅
PMET			✅		✅
指示編輯		✅			✅
DINM		✅			✅					✅
明智的		✅	✅		✅	✅			✅
Alpha編輯		✅	✅		✅

❗️❗️如果您打算使用Mistral，請手動將transformers庫更新至4.34.0版本。您可以使用以下程式碼： pip install transformers==4.34.0 。

一些作品的快速入門

工作	描述	小路
指示編輯	InstructEdit：大型語言模型的基於指令的知識編輯	快速入門
DINM	透過知識編輯消除大型語言模型的毒害	快速入門
明智的	WISE：重新思考大型語言模型終身模型編輯的知識記憶	快速入門
概念編輯	編輯大型語言模型的概念知識	快速入門
MM編輯	我們可以編輯多模態大型語言模型嗎？	快速入門
性格編輯	編輯大型語言模型的個性	快速入門
迅速的	基於PROMPT的知識編輯方法	快速入門

數據集

基準測試：KnowEdit [抱臉][WiseModel][ModelScope]

❗️❗️需要說明的是， KnowEdit是透過重新組織和擴展現有的資料集（包括WikiBio 、 ZsRE 、 WikiData _Counterfact 、 _{WikiDataRecent} 、 Consent 、 Sanitation）建構的，對知識編輯進行綜合評估。特別感謝這些資料集的建構者和維護者。

請注意，Counterfact 和 WikiData _Counterfact不是同一個資料集。

任務	知識插入	知識修改				知識擦除
數據集	維基_最近	ZsRE	維基百科	維基數據_反事實	康文森	衛生
類型	事實	問答	幻覺	反事實	情緒	不需要的資訊
＃火車	第570章	10,000	第592章	1,455	14,390	80
＃測試	1,266	1301	1,392 人	第885章	800	80

我們提供了詳細的腳本供使用者輕鬆使用KnowEdit，請參考範例。

資料集描述

ZsRE：是一個上下文無關的問答任務。給定一個基於主題和關係的問題，模型預計會提供正確的物件作為答案。
Wiki_最近：該資料集特別關注 2022 年 7 月後最近插入 WikiData 的三元組。
WikiBio：原始資料集是透過提示 GPT-3 使用 WikiBio 中的主題來產生 238 個維基百科風格的傳記而創建的。
WikiData_反事實：由於尾部實體通常不會被模型捕獲，因此不適合測試修改編輯，RippleEdit 收集有關流行實體的三元組，其中主題對應於維基百科中瀏覽量最高的頁面之一。
Convsent：這是一項情緒編輯任務，用於評估模型修改對話代理人對特定主題的情緒而不影響其對其他主題的回應的能力。
衛生：此資料集專門解決與學習的語言模型相關的隱私問題。

資料集結構

 knowedit
├── WikiBio
│   ├── wikibio-test-all.json
│   └── wikibio-train-all.json
├── ZsRE
│   └── ZsRE-test-all.json
├── wiki_counterfact
│   ├── test_cf.json
│   └── train_cf.json
├── convsent
│   ├── blender_test.json
│   ├── blender_train.json
│   └── blender_val.json
├── convsent
│   ├── trivia_qa_test.json
│   └── trivia_qa_train.json
└── wiki_recent
    ├── recent_test.json
    └── recent_train.json

中文知識資料集：CKnowEdit

數據集	抱臉	智慧模型	模型範圍	描述
知道編輯	[擁抱臉]	[智慧模型]	[模型範圍]	中文知識編輯資料集

在這裡，您可以關注CKnowEdit.md來了解更多有關CKnowEdit的詳細資訊並進行中文知識編輯實驗。

資料集描述

CKnowEdit是一個高品質的中文知識編輯資料集，具有強大的中文特色，所有資料都來自中文知識庫。它經過精心設計，旨在更深入地洞察當前法學碩士在理解中文方面固有的細微差別和挑戰，為法學碩士內精煉中文特定知識提供了強大的資源。

CKnowEdit中資料的欄位說明如下：

 "prompt" : query inputed to the model ( str )
"target_old" : the incorrect response previously generated by the model ( str )
"target_new" : the accurate answer of the prompt ( str )
"portability_prompt" : new prompts related to the target knowledge ( list or None )
"portability_answer" : accurate answers corresponding to the portability_prompt ( list or None )
"locality_prompt" : new prompts unrelated to the target knowledge ( list or None )
"locality_answer" : accurate answers corresponding to the locality_prompt ( list or None )
"rephrase" : alternative ways to phrase the original prompt ( list )

資料集結構

 CknowEdit
├── Chinese Literary Knowledge
│   ├── Ancient Poetry
│   ├── Proverbs
│   └── Idioms
├── Chinese Linguistic Knowledge
│   ├── Phonetic Notation
│   └── Classical Chinese
├── Chinese Geographical Knowledge
└── Ruozhiba

事實知識資料集

數據集	Google雲端硬碟	百度網盤	描述
ZsRE加	[Google雲端硬碟]	[百度網盤]	使用問題改寫的問答資料集
反事實加	[Google雲端硬碟]	[百度網盤]	使用實體取代的 Counterfact 資料集

我們提供 zsre 和 counterfact 資料集來驗證知識編輯的有效性。您可以在這裡下載它們。 [Google雲端硬碟]、[百度網盤]。

對於局部性，除了測試不相關的實例之外，我們還提供了對分散注意力的測試（參考：檢測編輯失敗...）、其他歸因和其他下游任務（例如常識推理）。
為了可移植性，它測試模型是否可以應用編輯後的實例進行推理。我們提供一跳推理、主題別名和逆關係（例如，配偶之間的一對一關係應該雙向編輯）的評估。

資料集描述

 editing-data
├── counterfact
│   ├── counterfact-edit.json
│   ├── counterfact-train.json
│   └── counterfact-val.json
├── locality
│   ├── Commonsense Task
│   │   ├── piqa_valid-labels.lst
│   │   └── piqa_valid.jsonl
│   ├── Distracting Neighbor
│   │   └── counterfact_distracting_neighbor.json
│   └── Other Attribution
│       └── counterfact_other_attribution.json
├── portability
│   ├── Inverse Relation
│   │   └── zsre_inverse_relation.json
│   ├── One Hop
│   │   ├── counterfact_portability_gpt4.json
│   │   └── zsre_mend_eval_portability_gpt4.json
│   └── Subject Replace
│       ├── counterfact_subject_replace.json
│       └── zsre_subject_replace.json
└── zsre
    ├── zsre_mend_eval.json
    ├── zsre_mend_train_10000.json
    └── zsre_mend_train.json

counterfact：使用實體替換的原始counterfact資料集
zsre：使用問題改寫的原始問答資料集
locality（局部性的評估，詳見本文）
- Commonsense Task：對常識任務等其他下游任務的評估
- Distracting Neighbor：對分散注意力的鄰居進行測試（參考：偵測編輯失敗...）
- 其他歸因
可移植性
- 逆關係：對spouse等一對一關係的評價
- One Hop：一跳推理的評估
- 主題替換：同義詞替換評估

概念知識資料集：ConceptEdit

數據集	Google雲端硬碟	HuggingFace 資料集	描述
概念編輯	[Google雲端硬碟]	[HuggingFace 資料集]	用於編輯概念知識的資料集

在這裡，您可以按照ConceptEdit.md來執行概念編輯實驗。

資料集描述

 data
└──concept_data.json
    ├──final_gpt2_inter.json
    ├──final_gpt2_intra.json
    ├──final_gptj_inter.json
    ├──final_gptj_intra.json
    ├──final_llama2chat_inter.json
    ├──final_llama2chat_intra.json
    ├──final_mistral_inter.json
    └──final_mistral_intra.json

概念特定評估指標

Instance Change ：擷取這些實例級變更的複雜性
Concept Consistency ：產生的概念定義的語意相似度

多模態知識資料集：MMEdit

數據集	Google雲端硬碟	百度網盤	描述
電子IC	[Google雲端硬碟]	[百度網盤]	用於編輯影像字幕的資料集
電子品質保證	[Google雲端硬碟]	[百度網盤]	用於編輯視覺問答的資料集

E-IC和E-VQA中使用的所有圖像均可在 Google Drive 上下載
對於locality來說，它與事實編輯相同，以衡量不相關的事實是否保留其輸出。
對於多模態局部性，它評估編輯對視覺模組的影響，這與常規局部性類似。

資料集描述

 editing-data
├── caption
│   ├── caption_train_edit.json
│   └── caption_eval_edit.json
├── locality
│   ├── NQ dataset
│   │   ├── train.json
│   │   └── validation.json
├── multimodal_locality
│   ├── OK-VQA dataset
│   │   ├── okvqa_loc.json
└── vqa
    ├── vqa_train.json
    └── vqa_eval.json

Multimodal locality（多模態局部性的評估，請參閱本文資料集的詳細資訊）

用於解毒法學碩士的資料集：SafeEdit

數據集	HuggingFace 資料集	描述
安全編輯	[HuggingFace 資料集]	法學碩士解毒數據集

在這裡，您可以按照SafeEdit.md來執行解毒編輯實驗。

資料集描述

 data
└──SafeEdit_train.json
└──SafeEdit_val.json
└──SafeEdit_test.json

排毒具體評估指標

Defense Duccess (DS) ：對抗性輸入（攻擊提示+有害問題）編輯LLM的解毒成功率，用於修改LLM。
Defense Generalization (DG) ：編輯後的LLM對域外惡意輸入的解毒成功率。
General Performance ：不相關任務表現的副作用。

教程筆記本

方法	描述	GPT-2	駱駝
IKE	情境學習 (ICL) 編輯	[Colab-gpt2]	[Colab-llama]
羅馬	定位然後編輯神經元	[Colab-gpt2]	[Colab-llama]
梅特	定位然後編輯神經元	[Colab-gpt2]	[Colab-llama]

要求

?點安裝

注意：EasyEdit 請使用 Python 3.9+要開始使用，只要安裝 conda 並執行：

git clone https://github.com/zjunlp/EasyEdit.git
conda create -n EasyEdit python=3.9.7
...
pip install -r requirements.txt

編輯 GPU 記憶體使用情況

我們的結果都是基於預設配置

	駱駝-2-7B	聊天glm2	GPT-J-6B	GPT-XL
金融時報	60GB	58GB	55GB	7GB
獅子山	42GB	32GB	31GB	10GB
IKE	52GB	38GB	38GB	10GB
修補	46GB	37GB	37GB	13GB
KN	42GB	39GB	40GB	12GB
羅馬	31GB	29GB	27GB	10GB
梅特	33GB	31GB	31GB	11GB
阿達洛拉	29GB	24GB	25GB	8GB
優雅	27GB		23GB	6GB
明智的	34GB		27GB	7GB

?使用EasyEdit

編輯大型語言模型 (LLM) 約5 秒
以下範例向您展示如何使用 EasyEdit 進行編輯。更多範例和教程可以在範例中找到

基礎編輯器

BaseEditor是語言模態知識編輯的類別。您可以根據您的特定需求選擇合適的編輯方法。

由於Transformer版本和GPU型號不同，編輯結果可能會略有波動。

透過一個簡單的例子來介紹

憑藉EasyEdit的模組化和靈活性，您可以輕鬆地使用它來編輯模型。

步驟1：定義一個PLM作為要編輯的物件。選擇要編輯的 PLM。 EasyEdit支援在 HuggingFace 上檢索部分模型（到目前為止T5 、 GPTJ 、 GPT-NEO 、 LlaMA ）。對應的設定檔目錄為hparams/YUOR_METHOD/YOUR_MODEL.YAML ，如hparams/MEND/gpt2-xl.yaml ，設定對應的model_name來選擇知識編輯的物件。

 model_name : gpt2-xl
model_class : GPT2LMHeadModel
tokenizer_class : GPT2Tokenizer
tokenizer_name : gpt2-xl
model_parallel : false # true for multi-GPU editing

Step2：選擇合適的知識編輯方法

 ## In this case, we use MEND method, so you should import `MENDHyperParams`
from easyeditor import MENDHyperParams
## Loading config from hparams/MEMIT/gpt2-xl.yaml
hparams = MENDHyperParams . from_hparams ( './hparams/MEND/gpt2-xl' )

Step3：提供編輯描述符和編輯目標

 ## edit descriptor: prompt that you want to edit
prompts = [
    'What university did Watts Humphrey attend?' ,
    'Which family does Ramalinaceae belong to' ,
    'What role does Denny Herzig play in football?'
]
## You can set `ground_truth` to None !!!(or set to original output)
ground_truth = [ 'Illinois Institute of Technology' , 'Lecanorales' , 'defender' ]
## edit target: expected output
target_new = [ 'University of Michigan' , 'Lamiinae' , 'winger' ]

第四步：將它們組合成BaseEditor EasyEdit提供了一種簡單且統一的方式來初始化Editor ，例如 Huggingface: from_hparams 。

 ## Construct Language Model Editor
editor = BaseEditor . from_hparams ( hparams )

步驟5：提供評估資料注意，可攜性和局部性的資料都是可選的（設定為「無」僅用於基本編輯成功率評估）。兩者的資料格式都是dict ，對於每個測量維度，都需要提供相應的提示及其對應的groundtruth。以下是資料範例：

 locality_inputs = {
    'neighborhood' :{
        'prompt' : [ 'Joseph Fischhof, the' , 'Larry Bird is a professional' , 'In Forssa, they understand' ],
        'ground_truth' : [ 'piano' , 'basketball' , 'Finnish' ]
    },
    'distracting' : {
        'prompt' : [ 'Ray Charles, the violin Hauschka plays the instrument' , 'Grant Hill is a professional soccer Magic Johnson is a professional' , 'The law in Ikaalinen declares the language Swedish In Loviisa, the language spoken is' ],
        'ground_truth' : [ 'piano' , 'basketball' , 'Finnish' ]
    }
}

在上面的例子中，我們評估了有關「鄰裡」和「分散注意力」的編輯方法的表現。

Step6：編輯和評估完成！我們可以對您要編輯的模型進行編輯和評估。 edit功能將傳回一系列與編輯過程相關的指標以及修改後的模型權重。 [ sequential_edit=True表示連續編輯]

 metrics , edited_model , _ = editor . edit (
    prompts = prompts ,
    ground_truth = ground_truth ,
    target_new = target_new ,
    locality_inputs = locality_inputs ,
    sequential_edit = False # True: start continuous editing ✈️
)
## metrics: edit success, rephrase success, locality e.g.
## edited_model: post-edit model