Téléchargement de transformers data augmentation - transformers data augmentation Téléchargement du code source

transformers data augmentation

Autre code source

1.0.0

Télécharger

Augmentation des données à l'aide de modèles de transformateur pré-entraînés

Code associé à l'article sur l'augmentation des données à l'aide de modèles de transformateur pré-entraînés

Le code contient la mise en œuvre des méthodes d'augmentation des données suivantes

EDA (référence)
Rétrotraduction (référence)
CBERT (référence)
BERT Prepend (Notre article)
GPT-2 Prepend (Notre article)
BART Prepend (Notre article)

Ensembles de données

Sur papier, nous utilisons trois ensembles de données provenant des ressources suivantes

STSA-2 : https://github.com/1024er/cbert_aug/tree/crayon/datasets/stsa.binary
TREC : https://github.com/1024er/cbert_aug/tree/crayon/datasets/TREC
SNIPS : https://github.com/MiuLab/SlotGated-SLU/tree/master/data/snips

Configuration de l'expérience en régime de données faibles

Exécutez le fichier src/utils/download_and_prepare_datasets.sh pour préparer tous les ensembles de données.
download_and_prepare_datasets.sh effectue les étapes suivantes

Télécharger les données depuis github
Remplacer les étiquettes numériques par du texte pour les ensembles de données STSA-2 et TREC
Pour un ensemble de données donné, crée 15 répartitions aléatoires de données d'entraînement et de développement.

Dépendances

Pour exécuter ce code, vous avez besoin des dépendances suivantes

Torche 1.5
justeseq 0.9
transformateurs 2.9

Comment courir

Pour exécuter une expérience d'augmentation des données pour un ensemble de données donné, exécutez le script bash dans le dossier scripts . Par exemple, pour exécuter une augmentation des données sur un ensemble de données snips ,

exécutez scripts/bart_snips_lower.sh pour l'expérience BART
exécutez scripts/bert_snips_lower.sh pour le reste des méthodes d'augmentation des données

Comment citer

 @inproceedings{kumar-etal-2020-data,
    title = "Data Augmentation using Pre-trained Transformer Models",
    author = "Kumar, Varun  and
      Choudhary, Ashutosh  and
      Cho, Eunah",
    booktitle = "Proceedings of the 2nd Workshop on Life-long Learning for Spoken Language Systems",
    month = dec,
    year = "2020",
    address = "Suzhou, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.lifelongnlp-1.3",
    pages = "18--26",
}