Transformer Architectures From Scratch

Arsitektur Transformer Dari Awal Menggunakan PyTorch

1) TRAFO -

Arsitektur Encoder-Decoder berbasis perhatian mandiri. Ini sebagian besar digunakan untuk

1. Terjemahan Mesin
2. Peringkasan Dokumen
3. Ekstraksi teks

Makalah - https://arxiv.org/abs/1706.03762

2) BERT -

Arsitektur Encoder berbasis perhatian diri. Ini sebagian besar digunakan untuk

1. Klasifikasi Sentimen
2. Pengakuan Entitas Bernama
3. Tanya Jawab
4. Ekstraksi Penyematan Kalimat
5. Pencocokan Dokumen

Makalah - https://arxiv.org/abs/1810.04805

3) GPT-1 -

Model Autoregresif berbasis Decoder berbasis perhatian diri. Ini sebagian besar digunakan untuk

1. Penyelesaian Kalimat
2. Menghasilkan Teks
3. Klasifikasi Sentimen

Kertas - https://paperswithcode.com/method/gpt

4) GPT-2 -

Model Autoregresif berbasis Dekoder berbasis perhatian mandiri dengan sedikit perubahan dalam arsitektur dan dilatih pada korpus teks yang lebih besar daripada GPT-1. Ini sebagian besar digunakan untuk

1. Penyelesaian Kalimat
2. Menghasilkan Teks
3. Klasifikasi Sentimen

Makalah - https://d4mucfpksywv.cloudfront.net/better-bahasa-models/bahasa-models.pdf

5) ViT-

Arsitektur Encoder berbasis perhatian mandiri yang canggih untuk aplikasi Computer Vision. Ini sebagian besar digunakan untuk

1. Klasifikasi Gambar
2. Pengkodean Gambar
3. Tulang Punggung untuk Deteksi Objek

Makalah - https://arxiv.org/abs/2006.03677

6) PELAKU -

Arsitektur Encoder-Decoder berbasis Self-attention dengan kompleksitas waktu linier selain transformator yang memiliki kompleksitas waktu kuadrat. Ini sebagian besar digunakan

1. Terjemahan Mesin
2. Peringkasan Dokumen
3. Ekstraksi teks

Makalah - https://arxiv.org/abs/2009.14794