transformers data augmentation

Augmentasi Data menggunakan Model Transformator terlatih

Kode yang terkait dengan Augmentasi Data menggunakan kertas Model Transformer yang telah dilatih sebelumnya

Kode berisi implementasi metode augmentasi data berikut

• EDA (Dasar)
• Terjemahan Balik (Dasar)
• CBERT (Garis Dasar)
• BERT Prepend (Makalah kami)
• GPT-2 Prepend (Makalah kami)
• BART Prepend (Makalah kami)

Kumpulan Data

Secara kertas, kami menggunakan tiga kumpulan data dari sumber berikut

• STSA-2 : https://github.com/1024er/cbert_aug/tree/crayon/datasets/stsa.binary
• TREC : https://github.com/1024er/cbert_aug/tree/crayon/datasets/TREC
• SNIP : https://github.com/MiuLab/SlotGated-SLU/tree/master/data/snips

Penyiapan eksperimen rezim data rendah

Jalankan file src/utils/download_and_prepare_datasets.sh untuk menyiapkan semua dataset.
download_and_prepare_datasets.sh melakukan langkah-langkah berikut

1. Unduh data dari github
2. Ganti label numerik dengan teks untuk kumpulan data STSA-2 dan TREC
3. Untuk kumpulan data tertentu, buat 15 pemisahan acak data pelatihan dan pengembangan.

Ketergantungan

Untuk menjalankan kode ini, Anda memerlukan dependensi berikut

• Pytorch 1.5
• fairseq 0.9
• transformator 2.9

Bagaimana cara menjalankannya

Untuk menjalankan eksperimen augmentasi data untuk kumpulan data tertentu, jalankan skrip bash di folder scripts . Misalnya, untuk menjalankan augmentasi data pada kumpulan data snips ,

• jalankan scripts/bart_snips_lower.sh untuk eksperimen BART
• jalankan scripts/bert_snips_lower.sh untuk metode augmentasi data lainnya

Cara mengutip

 @inproceedings{kumar-etal-2020-data,
    title = "Data Augmentation using Pre-trained Transformer Models",
    author = "Kumar, Varun  and
      Choudhary, Ashutosh  and
      Cho, Eunah",
    booktitle = "Proceedings of the 2nd Workshop on Life-long Learning for Spoken Language Systems",
    month = dec,
    year = "2020",
    address = "Suzhou, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.lifelongnlp-1.3",
    pages = "18--26",
}

Kontak

Silakan hubungi [email protected] untuk pertanyaan apa pun terkait kode ini.

Lisensi

Proyek ini dilisensikan di bawah lisensi Creative Common Attribution Non-Commercial 4.0.