transformers data augmentation

使用预先训练的 Transformer 模型进行数据增强

与使用预训练 Transformer 模型进行数据增强论文相关的代码

代码包含以下数据增强方法的实现

• EDA（基线）
• 反向翻译（基线）
• CBERT（基线）
• BERT Prepend（我们的论文）
• GPT-2 前置（我们的论文）
• BART Prepend（我们的论文）

数据集

在论文中，我们使用以下资源中的三个数据集

• STSA-2：https://github.com/1024er/cbert_aug/tree/crayon/datasets/stsa.binary
• TREC：https://github.com/1024er/cbert_aug/tree/crayon/datasets/TREC
• SNIPS：https://github.com/MiuLab/SlotGated-SLU/tree/master/data/snips

低数据状态实验设置

运行src/utils/download_and_prepare_datasets.sh文件以准备所有数据集。
download_and_prepare_datasets.sh执行以下步骤

1. 从github下载数据
2. 将 STSA-2 和 TREC 数据集的数字标签替换为文本
3. 对于给定的数据集，创建 15 个训练数据和开发数据的随机分割。

依赖关系

要运行此代码，您需要以下依赖项

• 火炬1.5
• 公平序列0.9
• 变形金刚2.9

如何跑

要对给定数据集运行数据增强实验，请运行scripts夹中的 bash 脚本。例如，要在snips数据集上运行数据增强，

• 运行scripts/bart_snips_lower.sh进行 BART 实验
• 运行scripts/bert_snips_lower.sh以获取其余的数据增强方法

如何引用

 @inproceedings{kumar-etal-2020-data,
    title = "Data Augmentation using Pre-trained Transformer Models",
    author = "Kumar, Varun  and
      Choudhary, Ashutosh  and
      Cho, Eunah",
    booktitle = "Proceedings of the 2nd Workshop on Life-long Learning for Spoken Language Systems",
    month = dec,
    year = "2020",
    address = "Suzhou, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.lifelongnlp-1.3",
    pages = "18--26",
}

接触

如果对此代码有任何疑问，请联系 [email protected]。

执照

该项目根据 Creative Common Attribution Non-Commercial 4.0 许可证获得许可。