transformers data augmentation

Увеличение данных с использованием предварительно обученных моделей трансформаторов

Код, связанный с расширением данных с использованием документа «Предварительно обученные модели трансформаторов»

Код содержит реализацию следующих методов увеличения данных.

• ЭДА (базовый уровень)
• Обратный перевод (базовый уровень)
• CBERT (базовый уровень)
• BERT Prepend (Наша статья)
• GPT-2 Prepend (наша статья)
• BART Prepend (Наша статья)

Наборы данных

В статье мы используем три набора данных из следующих ресурсов.

• STSA-2: https://github.com/1024er/cbert_aug/tree/crayon/datasets/stsa.binary
• TREC: https://github.com/1024er/cbert_aug/tree/crayon/datasets/TREC.
• SNIPS: https://github.com/MiuLab/SlotGated-SLU/tree/master/data/snips

Установка эксперимента в режиме малых данных

Запустите файл src/utils/download_and_prepare_datasets.sh чтобы подготовить все наборы данных.
download_and_prepare_datasets.sh выполняет следующие шаги

1. Загрузите данные с github
2. Замените числовые метки текстом для набора данных STSA-2 и TREC.
3. Для данного набора данных создается 15 случайных разделений данных поездов и разработчиков.

Зависимости

Чтобы запустить этот код, вам нужны следующие зависимости

• Пайторч 1.5
• ярмарка 0.9
• трансформаторы 2.9

Как бежать

Чтобы запустить эксперимент по увеличению данных для данного набора данных, запустите сценарий bash в папке scripts . Например, чтобы запустить увеличение данных в наборе данных snips ,

• запустить scripts/bart_snips_lower.sh для эксперимента BART
• запустите scripts/bert_snips_lower.sh для остальных методов увеличения данных

Как цитировать

 @inproceedings{kumar-etal-2020-data,
    title = "Data Augmentation using Pre-trained Transformer Models",
    author = "Kumar, Varun  and
      Choudhary, Ashutosh  and
      Cho, Eunah",
    booktitle = "Proceedings of the 2nd Workshop on Life-long Learning for Spoken Language Systems",
    month = dec,
    year = "2020",
    address = "Suzhou, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.lifelongnlp-1.3",
    pages = "18--26",
}

Контакт

Если у вас возникнут вопросы, связанные с этим кодом, обращайтесь по адресу [email protected].

Лицензия

Этот проект распространяется по лицензии Creative Common Attribution Non-Commercial 4.0.