Transformer Architectures From Scratch

Arquitetura de transformador do zero usando PyTorch

1) TRANSFORMADOR -

Uma arquitetura codificadora-decodificadora baseada em autoatenção. É usado principalmente para

1. Tradução automática
2. Resumo de documentos
3. Extração de texto

Artigo - https://arxiv.org/abs/1706.03762

2)BERTO-

Uma arquitetura de codificador baseada em autoatenção. É usado principalmente para

1. Classificação de sentimento
2. Reconhecimento de Entidade Nomeada
3. Pergunta e resposta
4. Extração de incorporação de frases
5. Correspondência de documentos

Artigo - https://arxiv.org/abs/1810.04805

3) GPT-1 -

Um modelo autorregressivo baseado em decodificador baseado em autoatenção. É usado principalmente para

1. Conclusão de frase
2. Gerando Texto
3. Classificação de sentimento

Artigo - https://paperswithcode.com/method/gpt

4) GPT-2 -

Um modelo autorregressivo baseado em decodificador baseado em autoatenção com uma ligeira mudança na arquitetura e treinado em um corpus de texto maior do que GPT-1. É usado principalmente para

1. Conclusão de frase
2. Gerando Texto
3. Classificação de sentimento

Artigo - https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

5) ViT -

Uma arquitetura de codificador baseada em autoatenção de última geração para aplicação de visão computacional. É usado principalmente para

1. Classificação de imagens
2. Codificação de imagem
3. Backbone para detecção de objetos

Artigo - https://arxiv.org/abs/2006.03677

6) EXECUTOR -

Uma arquitetura codificadora-decodificadora baseada em autoatenção com complexidade de tempo linear diferente do transformador que possui complexidade de tempo quadrática. É usado principalmente

1. Tradução automática
2. Resumo de documentos
3. Extração de texto

Artigo - https://arxiv.org/abs/2009.14794