Efficient Head Finetuning
1.0.0
كود المصدر للورقة الطويلة EMNLP2022: الضبط الفعال للمعلمات يجعل رأس التصنيف جيدًا
arxiv
وجدنا ذلك
- ضبط LM المدرب مسبقًا باستخدام خوارزمية فعالة للمعلمات.
- قم بضبط LM المدرب مسبقًا من خلال تهيئة رأس التصنيف كوزن من 1.
عادة ما يكون أفضل من الضبط المباشر.
نحن ننفذ أساليبنا بناءً على مكتبة SwissArmyTransformers مفتوحة المصدر.
الخطوة 1.
قم بتنزيل نقطة تفتيش RoBERTa-Large أو BERT-Large (مقدمة من SwissArmyTransformer) وقم بفك الضغط.
الخطوة 2.
أضف مسار دير نقطة التفتيش إلى السطر 5 في EH-FT/roberta/scripts/finetune.sh
الخطوة 3.
cd EH-FT/roberta
python scripts/run_multiseed.py --number-gpu 1 --gpu-s 0 --seed-per-gpu 1 --dataset rte --finetune-type 2step+bitfit
الخطوة 4.
cd EH-FT/roberta
python scripts/run_multiseed.py --number-gpu 1 --gpu-s 0 --seed-per-gpu 1 --dataset rte --finetune-type 2step+bitfit
سيطلق البرنامج النصي عمليات [number-gpu] باستخدام gpu [gpu-s]، gpu [gpu-s+1]، ...، gpu [gpu-s + number-gpu - 1]. كل عملية لها بذرة عشوائية مختلفة.
يمكنك تغيير مجموعة البيانات ونوع الدقة.
مجموعة البيانات: rte، mrpc، boolq، wic، cb، copa، wsc، qnli، stsb
| من النوع الدقيق | الاسم في الورق |
|---|---|
| الجميع | الضبط الدقيق التقليدي |
| خطوتين + رأس | إل بي-إف تي |
| خطوتين+بيتفيت | EH-FT(بيتفيت) |
| خطوتين + لورا | EH-FT(لورا) |
| 2 خطوة + نقطة | EH-FT(PT) |
| bitft/لورا/pt | ضبط BitFit/LoRA/البادئة |
| رأس | التحقيق الخطي |
| طفل | ضبط الطفل |
| mixout | مزيج |
الخطوة 4.
شاهد النتائج في عمليات التشغيل/استخدام لوح الشد.
