Highway Transformer

Highway Transformer : セルフゲート強化されたセルフアテンティブ ネットワーク

このリポジトリは、 Self-Dependency Unitを使用した Transformer-XL のデモ コードです。この研究は、Google のスイッチ トランスフォーマーなどのゲート強化トランスフォーマーの亜種と密接に関連しています。

イェクン・チャイら。アル。 、 Highway Transformer : セルフゲート拡張セルフアテンティブ ネットワーク (ACL 2020)

要件

• PyTorch >= 1.1.0
• TensorboardX >= 1.8
• テンソルボード >= 1.14
• 12 レイヤーの Transformer-XL を実行するための4 つの GPU (各8 GBメモリ)

データダウンロード

bash getdata.sh

6 層の Transformer-XL を実行する

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

結果の視覚化

 cd XL-L6-results && tensorboard --logdir=.

結果

• さまざまなモデル設定の線プロット。最上部の線 (赤色)がベースライン モデル (つまり、オリジナルの Transformer-XL) です。
• Self-Dependency Unit を追加した後 (下の 2 つの曲線を参照)、 Highway Transformerトレーニングと評価中の収束プロセスをスピードアップしていることは明らかです。

トレーニング BPC	トレーニングロス

評価 bpc	評価損失

引用

学術的な文脈での帰属については、この著作物を次のように引用してください。

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}