Transformer Architectures From Scratch

使用 PyTorch 从头开始​​ Transformer 架构

1) 变压器 -

基于自注意力的编码器-解码器架构。它主要用于

1. 机器翻译
2. 文档摘要
3. 文本提取

论文 - https://arxiv.org/abs/1706.03762

2）伯特-

基于自注意力的编码器架构。它主要用于

1. 情感分类
2. 命名实体识别
3. 问答
4. 句子嵌入提取
5. 文件匹配

论文 - https://arxiv.org/abs/1810.04805

3) GPT-1 -

基于自注意力的解码器的自回归模型。它主要用于

1. 句子完成
2. 生成文本
3. 情感分类

论文 - https://paperswithcode.com/method/gpt

4) GPT-2 -

基于自注意力解码器的自回归模型，在架构上略有变化，并在比 GPT-1 更大的文本语料库上进行训练。它主要用于

1. 句子完成
2. 生成文本
3. 情感分类

论文 - https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

5) 维特 -

用于计算机视觉应用的最先进的基于自注意力的编码器架构。它主要用于

1. 图像分类
2. 图像编码
3. 目标检测的骨干网

论文 - https://arxiv.org/abs/2006.03677

6) 表演者 -

一种基于自注意力的编码器-解码器架构，具有线性时间复杂度，而不是具有二次时间复杂度的变压器。大部分都是用它

1. 机器翻译
2. 文档摘要
3. 文本提取

论文 - https://arxiv.org/abs/2009.14794