memit

MEMIT：在 Transformer 中批次編輯內存

一次將數千個事實編輯到變壓器記憶體中。

目錄

• 安裝
• MEMIT 演算法演示
• 運行完整的評估套件
• 產生縮放曲線
• 如何引用

安裝

我們推薦使用conda來管理 Python、CUDA 和 PyTorch； pip適用於其他一切。首先，只需安裝conda並運行：

CONDA_HOME= $CONDA_HOME ./scripts/setup_conda.sh

$CONDA_HOME應該是conda安裝的路徑，例如~/miniconda3 。

MEMIT 演算法演示

notebooks/memit.ipynb示範了 MEMIT。 API簡單；只需指定以下形式的請求重寫：

 request = [
    {
        "prompt" : "{} plays the sport of" ,
        "subject" : "LeBron James" ,
        "target_new" : {
            "str" : "football"
        }
    },
    {
        "prompt" : "{} plays the sport of" ,
        "subject" : "Michael Jordan" ,
        "target_new" : {
            "str" : "baseball"
        }
    },
]

筆記本中也包含其他類似的範例。

運行完整的評估套件

experiments/evaluate.py可用於評估baselines/中的任何方法。

例如：

 python3 -m experiments.evaluate 
    --alg_name=MEMIT 
    --model_name=EleutherAI/gpt-j-6B 
    --hparams_fname=EleutherAI_gpt-j-6B.json 
    --num_edits=10000 
    --use_cache

每次運行的結果以特定格式儲存在results/<method_name>/run_<run_id>中：

results/
| __ MEMIT/
    | __ run_ < run_id > /
        | __ params.json
        | __ case_0.json
        | __ case_1.json
        | __ ...
        | __ case_10000.json

要總結結果，您可以使用experiments/summarize.py ：

python3 -m experiments.summarize --dir_name=MEMIT --runs=run_ < run 1> ,run_ < run 2>

運行python3 -m experiments.evaluate -h或python3 -m experiments.summarize -h提供有關命令列標誌的詳細資訊。

如何引用

 @article { meng2022memit ,
  title = { Mass Editing Memory in a Transformer } ,
  author = { Kevin Meng and Sen Sharma, Arnab and Alex Andonian and Yonatan Belinkov and David Bau } ,
  journal = { arXiv preprint arXiv:2210.07229 } ,
  year = { 2022 }
}