Transformer Architectures From Scratch

هندسة المحولات من الصفر باستخدام PyTorch

1) المحولات -

بنية التشفير وفك التشفير القائمة على الاهتمام الذاتي. يتم استخدامه في الغالب ل

1. الترجمة الآلية
2. تلخيص الوثيقة
3. استخراج النص

الورقة - https://arxiv.org/abs/1706.03762

2) بيرت -

بنية التشفير القائمة على الاهتمام الذاتي. يتم استخدامه في الغالب ل

1. تصنيف المشاعر
2. التعرف على الكيان المسمى
3. سؤال وجواب
4. استخراج تضمين الجملة
5. مطابقة المستندات

الورقة - https://arxiv.org/abs/1810.04805

3) جي بي تي-1 -

نموذج الانحدار الذاتي القائم على وحدة فك التشفير القائمة على الاهتمام الذاتي. يتم استخدامه في الغالب ل

1. إكمال الجملة
2. توليد النص
3. تصنيف المشاعر

الورق - https://paperswithcode.com/method/gpt

4) جي بي تي-2 -

نموذج انحدار ذاتي قائم على وحدة فك الترميز يعتمد على الاهتمام الذاتي مع تغيير طفيف في البنية ويتم تدريبه على مجموعة أكبر من النصوص مقارنة بـ GPT-1. يتم استخدامه في الغالب ل

1. إكمال الجملة
2. توليد النص
3. تصنيف المشاعر

الورق - https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

5) فيت -

بنية تشفير حديثة تعتمد على الاهتمام الذاتي لتطبيق رؤية الكمبيوتر. يتم استخدامه في الغالب ل

1. تصنيف الصور
2. ترميز الصور
3. العمود الفقري للكشف عن الكائنات

ورقة - https://arxiv.org/abs/2006.03677

6) المؤدي -

بنية التشفير وفك التشفير القائمة على الاهتمام الذاتي مع تعقيد زمني خطي بخلاف المحولات التي لها تعقيد زمني تربيعي. يتم استخدامه في الغالب

1. الترجمة الآلية
2. تلخيص الوثيقة
3. استخراج النص

ورقة - https://arxiv.org/abs/2009.14794