Highway Transformer

Highway Transformer : redes autoatentivas aprimoradas com autoatendimento

Este repositório é o código de demonstração do Transformer-XL usando Self-Dependency Unit . Este trabalho está intimamente relacionado às variantes do Transformer aprimorado por Gating, como os Switch Transformers do Google.

Yekun Chai et. al. , Highway Transformer : redes autoatentivas aprimoradas com autoatendimento (ACL 2020)

Requisitos

• PyTorch >= 1.1.0
• TensorboardX >= 1,8
• Quadro tensor >= 1,14
• 4 GPUs de cada 8 GB de memória para executar Transformer-XL de 12 camadas

Download de dados

bash getdata.sh

Execute o Transformer-XL de 6 camadas

 cd pytorch/xl_L6_scripts && bash < script-name > .sh train --work_dir " PATH_TO_WORK_DIR " 

Visualizando Seu Resultado

 cd XL-L6-results && tensorboard --logdir=.

Resultados

• Gráficos de linhas de diferentes configurações de modelo, onde a linha superior (em vermelho) é o modelo de linha de base (ou seja, Transformer-XL original).
• Depois de adicionar a Unidade de Autodependência (veja as duas curvas inferiores), fica claro que Highway Transformer acelera o processo de convergência durante o treinamento e a avaliação.

treinamento bpc	perda de treinamento

avaliação bpc	perda de avaliação

Citação

Para atribuição em contextos acadêmicos, cite este trabalho como:

Highway Transformer: Self-Gating Enhanced Self-Attentive Networks", author = "Chai, Yekun and Jin, Shuo and Hou, Xinwen", booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2020", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/2020.acl-main.616", pages = "6887--6900" }">

 @inproceedings{chai-etal-2020-highway,
    title = " Highway Transformer : Self-Gating Enhanced Self-Attentive Networks",
    author = "Chai, Yekun  and
      Jin, Shuo  and
      Hou, Xinwen",
    booktitle = "Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2020",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.acl-main.616",
    pages = "6887--6900"
}