Highway Transformer

Highway Transformer : 자가 게이팅 강화 자가 주의 네트워크

이 저장소는 Self-Dependency Unit을 사용하는 Transformer-XL의 데모 코드입니다. 이 작업은 Google의 Switch Transformers와 같은 Gating 강화 Transformer 변형과 밀접하게 관련되어 있습니다.

채예건 외. 알. , Highway Transformer : Self-Gating Enhanced Self-Attentive Networks(ACL 2020)

요구사항

• 파이토치 >= 1.1.0
• 텐서보드X >= 1.8
• 텐서보드 >= 1.14
• 12레이어 Transformer-XL 실행을 위한 각 8GB 메모리의 GPU 4개

데이터 다운로드

bash getdata.sh

6층 Transformer-XL 실행

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

결과 시각화

 cd XL-L6-results && tensorboard --logdir=.

결과

• 다양한 모델 설정의 선 플롯. 여기서 맨 위 선(빨간색) 은 기준 모델(예: 원본 Transformer-XL)입니다.
• Self-Dependency Unit(아래 두 곡선 참조)을 추가한 후 Highway Transformer 훈련 및 평가 중에 수렴 프로세스의 속도를 높이는 것이 분명합니다.

교육 bpc	훈련 손실

평가 BPC	평가 손실

소환

학문적 맥락에서 귀속을 위해 이 연구를 다음과 같이 인용하십시오.

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}