Transformer Architectures From Scratch

PyTorch を使用してトランスフォーマー アーキテクチャをゼロから構築する

1) トランス -

セルフ アテンション ベースのエンコーダ デコーダ アーキテクチャ。主に次の用途に使用されます

1. 機械翻訳
2. 文書の要約
3. テキスト抽出

論文 - https://arxiv.org/abs/1706.03762

2) バート -

セルフアテンションベースのエンコーダアーキテクチャ。主に次の用途に使用されます

1. 感情の分類
2. 固有表現の認識
3. 質疑応答
4. 文埋め込み抽出
5. 文書照合

論文 - https://arxiv.org/abs/1810.04805

3) GPT-1 -

Self-attention ベースの Decoder ベースの自己回帰モデル。主に次の用途に使用されます

1. 文の完成
2. テキストの生成
3. 感情の分類

論文 - https://paperswithcode.com/method/gpt

4) GPT-2 -

Self-attention ベースの Decoder ベースの自己回帰モデル。アーキテクチャがわずかに変更され、GPT-1 よりも大きなテキスト コーパスでトレーニングされています。主に次の用途に使用されます

1. 文の完成
2. テキストの生成
3. 感情の分類

論文 - https://d4mucfpksywv.cloudfront.net/better- language-models/ language-models.pdf

5) ビタミン -

コンピューター ビジョン アプリケーション向けの最先端のセルフアテンション ベースのエンコーダー アーキテクチャ。主に次の用途に使用されます

1. 画像の分類
2. 画像エンコーディング
3. 物体検出のバックボーン

論文 - https://arxiv.org/abs/2006.03677

6) 出演者 -

二次時間計算量を持つトランスフォーマーとは別の、線形時間計算量を持つセルフアテンション ベースのエンコーダー/デコーダー アーキテクチャ。主に使われているのは

1. 機械翻訳
2. 文書の要約
3. テキスト抽出

論文 - https://arxiv.org/abs/2009.14794