Highway Transformer

Highway Transformer : réseaux auto-attentifs améliorés à déclenchement automatique

Ce dépôt est le code de démonstration de Transformer-XL utilisant Self-Dependency Unit . Ce travail est étroitement lié aux variantes de Transformer améliorées par Gating, telles que les Switch Transformers de Google.

Yekun Chai et. al. , Highway Transformer : réseaux auto-attentifs améliorés à déclenchement automatique (ACL 2020)

Exigences

• PyTorch >= 1.1.0
• TensorboardX >= 1,8
• Tableau tensoriel >= 1,14
• 4 GPU de chaque 8 Go de mémoire pour exécuter Transformer-XL à 12 couches

Téléchargement de données

bash getdata.sh

Exécutez Transformer-XL à 6 couches

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

Visualiser votre résultat

 cd XL-L6-results && tensorboard --logdir=.

Résultats

• Graphiques linéaires de différents paramètres de modèle, où la ligne la plus haute (en rouge) est le modèle de base (c'est-à-dire le Transformer-XL d'origine).
• Après avoir ajouté l'unité d'autodépendance (voir les deux courbes du bas), il est clair que Highway Transformer accélère le processus de convergence pendant la formation et l'évaluation.

formation bpc	perte d'entraînement

évaluer le bpc	perte d'évaluation

Citation

Pour l'attribution dans des contextes académiques, veuillez citer ce travail comme :

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}