تقدم هذه المقالة Transformer²، وهو إطار عمل تكيفي جديد مقترح من Sakana AI، والذي يحل أوجه القصور الحسابية المكثفة والثابتة لأساليب الضبط الدقيق لنموذج اللغة الكبيرة التقليدية (LLM). يستخدم Transformer² آلية من مرحلتين لضبط أوزان LLM في الوقت الفعلي أثناء عملية التفكير، مما يسمح له بالتكيف بمرونة مع مختلف المهام غير المعروفة والتكيف مع البيئة مثل الأخطبوط. ويكمن جوهرها في الضبط الدقيق للقيمة الفردية (SVF) والاستراتيجيات التكيفية، التي تدرب ناقلات "الخبراء" من خلال التعلم المعزز وتجمع هذه المتجهات ديناميكيًا لتحقيق استجابات دقيقة لمهام مختلفة. يتمتع هذا الإطار بالعديد من المزايا مثل كفاءة المعلمات العالية، والنمطية، والتوافق عبر النماذج، وقد أظهر أداءً أفضل من طرق الضبط الدقيق التقليدية في التجارب.
جوهر Transformer² هو آليته الفريدة المكونة من مرحلتين وتقنية الضبط الدقيق للقيمة الفردية (SVF)، بالإضافة إلى المزيج الذكي من استراتيجيات التكيف المتعددة. إن المتجهات "الخبيرة" التي تم تدريبها من خلال التعلم المعزز تمنح النموذج قدرة قوية على التكيف، مما يسمح له بأداء جيد في مجموعة متنوعة من المهام غير المعروفة. على الرغم من أنه لا يزال هناك مجال للتحسين، إلا أن Transformer² قد اتخذ بلا شك خطوة مهمة نحو بناء نظام ذكاء اصطناعي ديناميكي ذاتي التنظيم حقًا، وتشمل اتجاهات البحث المستقبلية دمج النماذج وتوسيع أساليب CEM. عنوان الورقة مرفق في نهاية المقال، ونتطلع إلى المزيد من الباحثين الذين يستكشفون هذا الأمر بعمق.