Transformer Architectures From Scratch

使用 PyTorch 從頭開始 Transformer 架構

1) 變壓器 -

基於自註意力的編碼器-解碼器架構。它主要用於

1. 機器翻譯
2. 文檔摘要
3. 文字擷取

論文 - https://arxiv.org/abs/1706.03762

2）伯特-

基於自註意力的編碼器架構。它主要用於

1. 情感分類
2. 命名實體識別
3. 問答
4. 句子嵌入擷取
5. 文件匹配

論文 - https://arxiv.org/abs/1810.04805

3) GPT-1 -

基於自註意力的解碼器的自回歸模型。它主要用於

1. 句子完成
2. 產生文字
3. 情感分類

論文 - https://paperswithcode.com/method/gpt

4) GPT-2 -

基於自註意力解碼器的自回歸模型，在架構上略有變化，並在比 GPT-1 更大的文字語料庫上進行訓練。它主要用於

1. 句子完成
2. 產生文字
3. 情感分類

論文 - https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

5) 維特 -

用於電腦視覺應用的最先進的基於自註意力的編碼器架構。它主要用於

1. 影像分類
2. 影像編碼
3. 目標偵測的骨幹網

論文 - https://arxiv.org/abs/2006.03677

6) 表演者 -

一種基於自註意力的編碼器-解碼器架構，具有線性時間複雜度，而不是具有二次時間複雜度的變壓器。大部分都是用它

1. 機器翻譯
2. 文檔摘要
3. 文字擷取

論文 - https://arxiv.org/abs/2009.14794