reweight gpt

إعادة وزن GPT

بديل لآلية الاستيقاظ الذاتي في هندسة المحولات. ويستخدم اتصالات جانبية قابلة للتعلم لإعادة وزن المدخلات مباشرة بدلاً من آلية الاهتمام الذاتي (كما هو موضح أدناه). لمعرفة المزيد عن الطريقة شاهد هذا الفيديو (من الدقيقة 41:26): https://youtu.be/l-CjXFmcVzY

الملفات:

1. مجلد البرنامج التعليمي - برنامج تعليمي خطوة بخطوة من الأساسيات إلى GPT.
2. reweight-gpt.py (تطبيق GPT متعدد الكتل باستخدام إعادة الوزن المباشر لمصفوفة الانتباه).
3. reweight-gpt-nonlinear.py (نسخة غير خطية من طريقة إعادة الوزن المباشرة. لتسهيل المقارنة بين الطريقتين، قمت بتكييف هذا البرنامج النصي مباشرة من تطبيق GPT الخاص بـ Andrej Karpathy).

توضيح: