Transformer Architectures From Scratch

Transformer Architecture ตั้งแต่เริ่มต้นโดยใช้ PyTorch

1) หม้อแปลงไฟฟ้า -

สถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัสตามความสนใจในตนเอง ส่วนใหญ่จะใช้สำหรับ

1. การแปลด้วยเครื่อง
2. การสรุปเอกสาร
3. การแยกข้อความ

กระดาษ - https://arxiv.org/abs/1706.03762

2) เบิร์ต -

สถาปัตยกรรมตัวเข้ารหัสที่เน้นความสนใจในตนเอง ส่วนใหญ่จะใช้สำหรับ

1. การจำแนกประเภทความรู้สึก
2. การรับรู้เอนทิตีที่มีชื่อ
3. คำถามและคำตอบ
4. การฝังประโยคการแยก
5. การจับคู่เอกสาร

กระดาษ - https://arxiv.org/abs/1810.04805

3) GPT-1 -

โมเดลการถดถอยอัตโนมัติตามการเอาใจใส่ตนเอง ส่วนใหญ่จะใช้สำหรับ

1. การเติมประโยคให้สมบูรณ์
2. กำลังสร้างข้อความ
3. การจำแนกประเภทความรู้สึก

กระดาษ - https://paperswithcode.com/method/gpt

4) GPT-2 -

โมเดล Autoregressive ที่ใช้ตัวถอดรหัสแบบใส่ใจตนเอง โดยมีการเปลี่ยนแปลงสถาปัตยกรรมเล็กน้อยและได้รับการฝึกเกี่ยวกับคลังข้อความที่มีขนาดใหญ่กว่า GPT-1 ส่วนใหญ่จะใช้สำหรับ

1. การเติมประโยคให้สมบูรณ์
2. กำลังสร้างข้อความ
3. การจำแนกประเภทความรู้สึก

กระดาษ - https://d4mucfpksywv.cloudfront.net/better-language-models/ language-models.pdf

5) วิท-

สถาปัตยกรรมตัวเข้ารหัสที่เน้นความสนใจในตนเองล้ำสมัยสำหรับแอปพลิเคชันคอมพิวเตอร์วิทัศน์ ส่วนใหญ่จะใช้สำหรับ

1. การจำแนกประเภทภาพ
2. การเข้ารหัสรูปภาพ
3. กระดูกสันหลังสำหรับการตรวจจับวัตถุ

กระดาษ - https://arxiv.org/abs/2006.03677

6) นักแสดง -

สถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัสแบบใส่ใจตนเองที่มีความซับซ้อนของเวลาเชิงเส้น นอกเหนือจากหม้อแปลงไฟฟ้าที่มีความซับซ้อนของเวลากำลังสอง ส่วนใหญ่จะใช้งาน

1. การแปลด้วยเครื่อง
2. การสรุปเอกสาร
3. การแยกข้อความ

กระดาษ - https://arxiv.org/abs/2009.14794