Highway Transformer

Highway Transformer : เครือข่ายการเอาใจใส่ตนเองที่ปรับปรุงด้วย Self-Gating

repo นี้เป็นโค้ดสาธิตของ Transformer-XL โดยใช้ Self-Dependency Unit งานนี้เกี่ยวข้องอย่างใกล้ชิดกับตัวแปร Transformer ที่ปรับปรุง Gating เช่น Switch Transformers ของ Google

เยคุนชัย และ. อัล , Highway Transformer : Self-Gating Enhanced Self-Attentive Networks (ACL 2020)

ความต้องการ

• ไพทอร์ช >= 1.1.0
• เทนเซอร์บอร์ดX >= 1.8
• เทนเซอร์บอร์ด >= 1.14
• GPU 4 ตัวของหน่วยความจำ 8GB แต่ละตัวสำหรับใช้งาน Transformer-XL 12 เลเยอร์

ดาวน์โหลดข้อมูล

bash getdata.sh

รัน Transformer-XL 6 ชั้น

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

การแสดงภาพผลลัพธ์ของคุณ

 cd XL-L6-results && tensorboard --logdir=.

ผลลัพธ์

• แผนภาพเส้นของการตั้งค่าโมเดลต่างๆ โดยที่ เส้นบนสุด (สีแดง) คือโมเดลพื้นฐาน (เช่น Transformer-XL ดั้งเดิม)
• หลังจากเพิ่มหน่วยการพึ่งพาตนเอง (ดูเส้นโค้งสองด้านล่าง) เป็นที่ชัดเจนว่า Highway Transformer เร่งกระบวนการบรรจบกัน ในระหว่างการฝึกอบรมและการประเมินผล

การฝึกอบรม bpc	การสูญเสียการฝึก

ประเมินผล bpc	การสูญเสียการประเมิน

การอ้างอิง

สำหรับการแสดงที่มาในบริบททางวิชาการ โปรดอ้างอิงงานนี้ว่า:

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}