Highway Transformer

Highway Transformer : الشبكات الذاتية المعززة للانتباه الذاتي

هذا الريبو هو الرمز التجريبي لـ Transformer-XL باستخدام وحدة التبعية الذاتية . يرتبط هذا العمل ارتباطًا وثيقًا بمتغيرات المحولات المحسّنة بواسطة Gating، مثل محولات التبديل من Google.

ييكون تشاي وآخرون. آل. Highway Transformer : الشبكات الذاتية المعززة للانتباه الذاتي (ACL 2020)

متطلبات

• باي تورش >= 1.1.0
• TensorboardX >= 1.8
• Tensorboard>= 1.14
• 4 وحدات معالجة رسوميات لكل ذاكرة سعة 8 جيجابايت لتشغيل 12 طبقة Transformer-XL

تنزيل البيانات

bash getdata.sh

قم بتشغيل محول 6 طبقات-XL

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

تصور النتيجة الخاصة بك

 cd XL-L6-results && tensorboard --logdir=.

نتائج

• مخططات خطية لإعدادات نماذج مختلفة، حيث يكون الخط العلوي (باللون الأحمر) هو النموذج الأساسي (أي Transformer-XL الأصلي).
• بعد إضافة وحدة الاعتماد على الذات (انظر المنحنيين السفليين)، فمن الواضح أن Highway Transformer يعمل على تسريع عملية التقارب أثناء التدريب والتقييم.

تدريب بي بي سي	خسارة التدريب

eval bpc	خسارة التقييم

الاقتباس

للإسناد في السياقات الأكاديمية، يرجى الاستشهاد بهذا العمل على النحو التالي:

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}