Highway Transformer

Highway Transformer : Jaringan Perhatian Mandiri yang Ditingkatkan Self-Gating

Repo ini adalah kode demo Transformer-XL menggunakan Self-Dependency Unit . Karya ini terkait erat dengan varian Transformer yang disempurnakan dengan Gating, seperti Switch Transformers dari Google.

Yekun Chai dkk. al. , Highway Transformer : Jaringan Perhatian Mandiri yang Ditingkatkan Self-Gating (ACL 2020)

Persyaratan

• PyTorch >= 1.1.0
• Papan TensorX >= 1.8
• Papan Tensor >= 1,14
• 4 GPU masing-masing memori 8GB untuk menjalankan 12 lapisan Transformer-XL

Pengunduhan data

bash getdata.sh

Jalankan Transformer-XL 6 lapis

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

Memvisualisasikan Hasil Anda

 cd XL-L6-results && tensorboard --logdir=.

Hasil

• Plot garis dengan pengaturan model berbeda, dengan garis paling atas (berwarna merah) adalah model garis dasar (yaitu Transformer-XL asli).
• Setelah menambahkan Unit Ketergantungan Mandiri (lihat dua kurva terbawah), terlihat jelas bahwa Highway Transformer mempercepat proses konvergensi selama pelatihan dan evaluasi.

pelatihan bpc	kerugian pelatihan

evaluasi bpc	kerugian evaluasi

Kutipan

Untuk atribusi dalam konteks akademis, harap kutip karya ini sebagai:

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}