memit

MEMIT: ذاكرة التحرير الشامل في المحول

تحرير آلاف الحقائق إلى ذاكرة محولة دفعة واحدة.

جدول المحتويات

• تثبيت
• عرض خوارزمية MEMIT
• تشغيل مجموعة التقييم الكاملة
• توليد منحنيات القياس
• كيفية الاستشهاد

تثبيت

نوصي باستخدام conda لإدارة Python وCUDA وPyTorch؛ pip هي لكل شيء آخر. للبدء، ما عليك سوى تثبيت conda وتشغيله:

CONDA_HOME= $CONDA_HOME ./scripts/setup_conda.sh

يجب أن يكون $CONDA_HOME هو المسار إلى تثبيت conda الخاص بك، على سبيل المثال، ~/miniconda3 .

عرض خوارزمية MEMIT

notebooks/memit.ipynb توضح MEMIT. واجهة برمجة التطبيقات بسيطة؛ ما عليك سوى تحديد إعادة الكتابة المطلوبة للنموذج التالي:

 request = [
    {
        "prompt" : "{} plays the sport of" ,
        "subject" : "LeBron James" ,
        "target_new" : {
            "str" : "football"
        }
    },
    {
        "prompt" : "{} plays the sport of" ,
        "subject" : "Michael Jordan" ,
        "target_new" : {
            "str" : "baseball"
        }
    },
]

تم تضمين أمثلة أخرى مماثلة في دفتر الملاحظات.

تشغيل مجموعة التقييم الكاملة

يمكن استخدام experiments/evaluate.py لتقييم أي طريقة في baselines/ .

على سبيل المثال:

 python3 -m experiments.evaluate 
    --alg_name=MEMIT 
    --model_name=EleutherAI/gpt-j-6B 
    --hparams_fname=EleutherAI_gpt-j-6B.json 
    --num_edits=10000 
    --use_cache

يتم تخزين النتائج من كل عملية تشغيل في results/<method_name>/run_<run_id> بتنسيق محدد:

results/
| __ MEMIT/
    | __ run_ < run_id > /
        | __ params.json
        | __ case_0.json
        | __ case_1.json
        | __ ...
        | __ case_10000.json

لتلخيص النتائج، يمكنك استخدام experiments/summarize.py :

python3 -m experiments.summarize --dir_name=MEMIT --runs=run_ < run 1> ,run_ < run 2>

تشغيل python3 -m experiments.evaluate -h أو python3 -m experiments.summarize -h يوفر تفاصيل حول إشارات سطر الأوامر.

كيفية الاستشهاد

 @article { meng2022memit ,
  title = { Mass Editing Memory in a Transformer } ,
  author = { Kevin Meng and Sen Sharma, Arnab and Alex Andonian and Yonatan Belinkov and David Bau } ,
  journal = { arXiv preprint arXiv:2210.07229 } ,
  year = { 2022 }
}