Highway Transformer

Highway Transformer : Selbstgesteuerte, selbstaufmerksame Netzwerke

Dieses Repo ist der Democode von Transformer-XL mit Self-Dependency Unit . Diese Arbeit steht in engem Zusammenhang mit Gating-erweiterten Transformer-Varianten, wie z. B. den Switch Transformers von Google.

Yekun Chai et. al. , Highway Transformer : Self-Gating Enhanced Self-Attentive Networks (ACL 2020)

Anforderungen

• PyTorch >= 1.1.0
• TensorboardX >= 1,8
• Tensorboard >= 1,14
• 4 GPUs mit jeweils 8 GB Speicher für die Ausführung von 12 Layer Transformer-XL

Datendownload

bash getdata.sh

Führen Sie den 6-Schicht-Transformer-XL aus

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

Visualisieren Sie Ihr Ergebnis

 cd XL-L6-results && tensorboard --logdir=.

Ergebnisse

• Liniendiagramme verschiedener Modelleinstellungen, wobei die oberste Linie (in Rot) das Basismodell (d. h. der ursprüngliche Transformer-XL) darstellt.
• Nach dem Hinzufügen der Self-Dependency Unit (siehe die beiden unteren Kurven) ist klar, dass Highway Transformer den Konvergenzprozess während des Trainings und der Bewertung beschleunigt .

Ausbildung bpc	Trainingsausfall

bpc auswerten	Bewertungsverlust

Zitat

Für die Quellenangabe im akademischen Kontext zitieren Sie dieses Werk bitte wie folgt:

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}