Efficient Head Finetuning
1.0.0
Kode sumber untuk makalah panjang EMNLP2022: Penyetelan yang Efisien Parameter Menghasilkan Kepala Klasifikasi yang Baik
arxiv
Kami menemukan itu
- Sempurnakan LM yang telah dilatih sebelumnya dengan algoritme yang efisien parameter.
- Sempurnakan LM yang telah dilatih sebelumnya dengan menginisialisasi kepala klasifikasi sebagai bobot dari 1.
biasanya lebih baik daripada finetuning langsung.
Kami menerapkan metode kami berdasarkan perpustakaan open source SwissArmyTransformers.
Langkah 1.
Unduh pos pemeriksaan RoBERTa-Large atau BERT-Large (Disediakan oleh SwissArmyTransformer) dan dekompresi.
Langkah 2.
Tambahkan jalur direktori pos pemeriksaan ke baris 5 di EH-FT/roberta/scripts/finetune.sh
Langkah3.
cd EH-FT/roberta
python scripts/run_multiseed.py --number-gpu 1 --gpu-s 0 --seed-per-gpu 1 --dataset rte --finetune-type 2step+bitfit
Langkah4.
cd EH-FT/roberta
python scripts/run_multiseed.py --number-gpu 1 --gpu-s 0 --seed-per-gpu 1 --dataset rte --finetune-type 2step+bitfit
Skrip akan meluncurkan proses [number-gpu] dengan gpu [gpu-s], gpu [gpu-s+1], ..., gpu [gpu-s + number-gpu - 1]. Setiap proses memiliki benih acak yang berbeda.
Anda dapat mengubah kumpulan data dan menyempurnakan tipe.
Kumpulan data: rte, mrpc, boolq, wic, cb, copa, wsc, qnli, stsb
| Tipe penyempurnaan | nama di kertas |
|---|---|
| semua | penyempurnaan tradisional |
| 2 langkah+kepala | LP-FT |
| 2 langkah+bitfit | EH-FT (BitFit) |
| 2 langkah+lora | EH-FT(LoRA) |
| 2 langkah+pt | EH-FT (PT) |
| bitft/lora/pt | Penyetelan BitFit/LoRA/Awalan |
| kepala | Pemeriksaan Linier |
| anak | penyetelan anak |
| campuran | Pencampuran |
Langkah4.
Lihat hasilnya saat dijalankan/menggunakan tensorboard.
