ดาวน์โหลด transformers data augmentation - transformers data augmentation ดาวน์โหลดซอร์สโค้ด

transformers data augmentation

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

การเพิ่มข้อมูลโดยใช้โมเดลหม้อแปลงที่ผ่านการฝึกอบรมมาแล้ว

รหัสที่เกี่ยวข้องกับการเพิ่มข้อมูลโดยใช้กระดาษ Transformer Models ที่ได้รับการฝึกอบรมล่วงหน้า

รหัสประกอบด้วยการดำเนินการตามวิธีการเพิ่มข้อมูลต่อไปนี้

EDA (พื้นฐาน)
การแปลกลับ (พื้นฐาน)
CBERT (พื้นฐาน)
BERT Prepend (เอกสารของเรา)
GPT-2 Prepend (เอกสารของเรา)
BART Prepend (เอกสารของเรา)

ชุดข้อมูล

ในกระดาษ เราใช้ชุดข้อมูลสามชุดจากแหล่งข้อมูลต่อไปนี้

STSA-2 : https://github.com/1024er/cbert_aug/tree/crayon/datasets/stsa.binary
TREC : https://github.com/1024er/cbert_aug/tree/crayon/datasets/TREC
SNIPS : https://github.com/MiuLab/SlotGated-SLU/tree/master/data/snips

การตั้งค่าการทดสอบระบอบการปกครองที่มีข้อมูลน้อย

เรียกใช้ไฟล์ src/utils/download_and_prepare_datasets.sh เพื่อเตรียมชุดข้อมูลทั้งหมด
download_and_prepare_datasets.sh ดำเนินการตามขั้นตอนต่อไปนี้

ดาวน์โหลดข้อมูลจาก github
แทนที่ป้ายกำกับตัวเลขด้วยข้อความสำหรับชุดข้อมูล STSA-2 และ TREC
สำหรับชุดข้อมูลที่กำหนด ให้สร้างการแยกข้อมูล Train และ Dev แบบสุ่ม 15 ชุด

การพึ่งพาอาศัยกัน

หากต้องการเรียกใช้โค้ดนี้ คุณต้องมีการอ้างอิงต่อไปนี้

ไพทอร์ช 1.5
แฟร์ซีค 0.9
หม้อแปลง 2.9

วิ่งยังไง.

หากต้องการเรียกใช้การทดสอบการเพิ่มข้อมูลสำหรับชุดข้อมูลที่กำหนด ให้เรียกใช้สคริปต์ทุบตีในโฟลเดอร์ scripts ตัวอย่างเช่น หากต้องการเรียกใช้การเพิ่มข้อมูลบนชุดข้อมูล snips

เรียกใช้ scripts/bart_snips_lower.sh สำหรับการทดสอบ BART
รัน scripts/bert_snips_lower.sh สำหรับวิธีการเพิ่มข้อมูลที่เหลือ

วิธีการอ้างอิง

 @inproceedings{kumar-etal-2020-data,
    title = "Data Augmentation using Pre-trained Transformer Models",
    author = "Kumar, Varun  and
      Choudhary, Ashutosh  and
      Cho, Eunah",
    booktitle = "Proceedings of the 2nd Workshop on Life-long Learning for Spoken Language Systems",
    month = dec,
    year = "2020",
    address = "Suzhou, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.lifelongnlp-1.3",
    pages = "18--26",
}