Transformer Architectures From Scratch

Архитектура трансформатора с нуля с использованием PyTorch

1) ТРАНСФОРМАТОР -

Архитектура кодировщика-декодера, основанная на самообслуживании. В основном он используется для

1. Машинный перевод
2. Обобщение документов
3. Извлечение текста

Бумага - https://arxiv.org/abs/1706.03762

2) БЕРТ -

Архитектура кодировщика, основанная на самообслуживании. В основном он используется для

1. Классификация настроений
2. Распознавание именованного объекта
3. Вопрос и ответ
4. Извлечение встраивания предложений
5. Сопоставление документов

Бумага - https://arxiv.org/abs/1810.04805

3) ГПТ-1 -

Модель авторегрессии на основе декодера, основанная на самообслуживании. В основном он используется для

1. Завершение предложения
2. Генерация текста
3. Классификация настроений

Бумага - https://paperswithcode.com/method/gpt

4) ГПТ-2 -

Модель авторегрессии на основе декодера, основанная на самообслуживании, с небольшими изменениями в архитектуре и обученная на более крупном корпусе текста, чем GPT-1. В основном он используется для

1. Завершение предложения
2. Генерация текста
3. Классификация настроений

Бумага - https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

5) ВиТ -

Современная архитектура кодировщика на основе самообслуживания для приложения компьютерного зрения. В основном он используется для

1. Классификация изображений
2. Кодирование изображения
3. Магистраль для обнаружения объектов

Бумага - https://arxiv.org/abs/2006.03677

6) ИСПОЛНИТЕЛЬ -

Архитектура кодировщика-декодера, основанная на самообслуживании, с линейной временной сложностью, отличной от трансформатора, который имеет квадратичную временную сложность. В основном он используется

1. Машинный перевод
2. Обобщение документов
3. Извлечение текста

Бумага - https://arxiv.org/abs/2009.14794