Transformer Architectures From Scratch

Arquitectura de transformadores desde cero usando PyTorch

1) TRANSFORMADOR -

Una arquitectura codificador-decodificador basada en autoatención. Se utiliza principalmente para

1. Traducción automática
2. Resumen de documentos
3. Extracción de texto

Documento: https://arxiv.org/abs/1706.03762

2) BERT -

Una arquitectura de codificador basada en la autoatención. Se utiliza principalmente para

1. Clasificación de sentimientos
2. Reconocimiento de entidad nombrada
3. Preguntas y respuestas
4. Extracción de incrustación de oraciones
5. Coincidencia de documentos

Documento: https://arxiv.org/abs/1810.04805

3) GPT-1-

Un modelo autorregresivo basado en decodificador basado en autoatención. Se utiliza principalmente para

1. Completar oraciones
2. Generando texto
3. Clasificación de sentimientos

Documento: https://paperswithcode.com/method/gpt

4) GPT-2 -

Un modelo autorregresivo basado en decodificador basado en autoatención con un ligero cambio en la arquitectura y entrenado en un corpus de texto más grande que GPT-1. Se utiliza principalmente para

1. Completar oraciones
2. Generando texto
3. Clasificación de sentimientos

Documento: https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

5) ViT -

Una arquitectura de codificador basada en autoatención de última generación para aplicaciones de visión por computadora. Se utiliza principalmente para

1. Clasificación de imágenes
2. Codificación de imágenes
3. Columna vertebral para la detección de objetos

Documento: https://arxiv.org/abs/2006.03677

6) ARTISTA -

Una arquitectura de codificador-decodificador basada en autoatención con una complejidad de tiempo lineal distinta del transformador que tiene una complejidad de tiempo cuadrática. Se utiliza mayoritariamente

1. Traducción automática
2. Resumen de documentos
3. Extracción de texto

Documento: https://arxiv.org/abs/2009.14794