Highway Transformer

Highway Transformer : саморегулирующиеся сети с улучшенной самообслуживанием

Этот репозиторий представляет собой демонстрационный код Transformer-XL с использованием Self-Dependency Unit . Эта работа тесно связана с вариантами трансформаторов с улучшенными воротами, такими как Switch Transformers от Google.

Йекун Чай и др. ал. , Highway Transformer : усовершенствованные сети самообслуживания с саморегулированием (ACL 2020)

Требования

• ПиТорч >= 1.1.0
• ТензорбордX >= 1,8
• Тензорная доска >= 1,14
• 4 графических процессора с памятью по 8 ГБ каждый для работы 12-слойного Transformer-XL

Загрузка данных

bash getdata.sh

Запустите 6-слойный Transformer-XL

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

Визуализация вашего результата

 cd XL-L6-results && tensorboard --logdir=.

Результаты

• Линейные графики различных настроек модели, где самая верхняя линия (красная) — это базовая модель (т. е. исходный Transformer-XL).
• После добавления модуля самозависимости (см. две нижние кривые) становится ясно, что Highway Transformer ускоряет процесс конвергенции во время обучения и оценки.

обучение БПЦ	потеря тренировки

оценка bpc	потеря оценки

Цитирование

Для указания авторства в академическом контексте, пожалуйста, цитируйте эту работу как:

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}