memit

MEMIT: トランス内のメモリの大量編集

数千の事実を一度にトランスフォーマーのメモリに編集します。

目次

• インストール
• MEMIT アルゴリズムのデモ
• 完全な評価スイートの実行
• スケーリング曲線の生成
• 引用方法

インストール

Python、CUDA、PyTorch の管理にはcondaお勧めします。 pipその他すべてのものです。まず始めに、 condaインストールして実行します。

CONDA_HOME= $CONDA_HOME ./scripts/setup_conda.sh

$CONDA_HOME condaインストールへのパス (例: ~/miniconda3である必要があります。

MEMIT アルゴリズムのデモ

notebooks/memit.ipynb MEMIT を示します。 API はシンプルです。次の形式で要求された書き換えを指定するだけです。

 request = [
    {
        "prompt" : "{} plays the sport of" ,
        "subject" : "LeBron James" ,
        "target_new" : {
            "str" : "football"
        }
    },
    {
        "prompt" : "{} plays the sport of" ,
        "subject" : "Michael Jordan" ,
        "target_new" : {
            "str" : "baseball"
        }
    },
]

他の同様の例もノートブックに含まれています。

完全な評価スイートの実行

experiments/evaluate.py baselines/内の任意のメソッドを評価するために使用できます。

例えば：

 python3 -m experiments.evaluate 
    --alg_name=MEMIT 
    --model_name=EleutherAI/gpt-j-6B 
    --hparams_fname=EleutherAI_gpt-j-6B.json 
    --num_edits=10000 
    --use_cache

各実行の結果はresults/<method_name>/run_<run_id>に特定の形式で保存されます。

results/
| __ MEMIT/
    | __ run_ < run_id > /
        | __ params.json
        | __ case_0.json
        | __ case_1.json
        | __ ...
        | __ case_10000.json

結果を要約するには、 experiments/summarize.py使用できます。

python3 -m experiments.summarize --dir_name=MEMIT --runs=run_ < run 1> ,run_ < run 2>

python3 -m experiments.evaluate -hまたはpython3 -m experiments.summarize -hを実行すると、コマンドライン フラグの詳細が表示されます。

引用方法

 @article { meng2022memit ,
  title = { Mass Editing Memory in a Transformer } ,
  author = { Kevin Meng and Sen Sharma, Arnab and Alex Andonian and Yonatan Belinkov and David Bau } ,
  journal = { arXiv preprint arXiv:2210.07229 } ,
  year = { 2022 }
}