أصدر فريق Meta FAIR نموذجًا جديدًا للمحول، Dualformer، الذي يحاكي الأنظمة المعرفية البشرية المزدوجة (النظام 1 والنظام 2) ويحقق تحسينات كبيرة في قدرات التفكير وكفاءة الحوسبة. على عكس نماذج المحولات التقليدية التي تحاكي النظام 1 أو النظام 2 فقط، يمكن لـ Dualformer التبديل بمرونة بين أوضاع التفكير السريعة والبطيئة للتكيف مع تعقيد المهام المختلفة. ينبع هذا الابتكار من أسلوب التدريب الفريد الخاص به - باستخدام مسارات التفكير العشوائي للتدريب والتخلص عشوائيًا من أجزاء مختلفة من المسارات لمحاكاة الاختصارات في عملية التفكير البشري.
أطلق فريق Meta's FAIR مؤخرًا نموذجًا جديدًا للمحول يسمى Dualformer، والذي يحاكي النظام المعرفي البشري المزدوج ويمكنه دمج أوضاع التفكير السريعة والبطيئة بسلاسة، مما يحقق اختراقات كبيرة في قدرات التفكير وكفاءة الحوسبة.
يُعتقد عمومًا أن عمليات التفكير البشري يتم التحكم فيها من خلال نظامين: النظام 1، وهو سريع وبديهي، والنظام 2، وهو أبطأ وأكثر منطقية.
عادةً ما تحاكي نماذج المحولات التقليدية واحدًا فقط من النظام 1 أو النظام 2، مما يؤدي إلى نموذج إما سريع ولكن لديه قدرات تفكير ضعيفة، أو لديه قدرات تفكير قوية ولكنه بطيء وله تكاليف حسابية عالية.
الأمر المبتكر في Dualformer هو طريقة تدريبه. وقام الباحثون بتدريب النموذج باستخدام مسارات الاستدلال العشوائي، والتخلص بشكل عشوائي من أجزاء مختلفة من المسارات أثناء التدريب، على غرار تحليل عمليات التفكير البشري وإنشاء الاختصارات. تتيح استراتيجية التدريب هذه لـ Dualformer التبديل بمرونة بين الأوضاع المختلفة أثناء الاستدلال:
الوضع السريع: يقوم Dualformer بإخراج الحل النهائي فقط، وهو سريع للغاية.
الوضع البطيء: سوف يقوم Dualformer بإخراج سلسلة تفكير كاملة وحل نهائي، مع قدرات تفكير أقوى.
الوضع التلقائي: يمكن لـ Dualformer تحديد الوضع المناسب تلقائيًا بناءً على مدى تعقيد المهمة.
تظهر النتائج التجريبية أن Dualformer يؤدي أداءً جيدًا في مهام مثل التنقل في المتاهة وحل المشكلات الرياضية. في الوضع البطيء، يمكن لـ Dualformer حل مهمة التنقل في متاهة 30x30 بمعدل نجاح يصل إلى 97.6%، متجاوزًا نموذج Searchformer الذي تم تدريبه باستخدام مسارات الاستدلال الكاملة فقط، مع تقليل خطوات الاستدلال بنسبة 45.5%.
في الوضع السريع، يصل معدل نجاح Dualformer أيضًا إلى 80%، وهو أعلى بكثير من نموذج الحل الوحيد الذي تم تدريبه باستخدام الحل النهائي فقط. في الوضع التلقائي، يمكن لـ Dualformer تقليل خطوات الاستدلال بشكل كبير مع الحفاظ على معدل نجاح مرتفع.
يظهر نجاح Dualformer أن تطبيق النظرية المعرفية البشرية على تصميم نموذج الذكاء الاصطناعي يمكن أن يحسن أداء النموذج بشكل فعال. يوفر هذا النموذج لدمج التفكير السريع والبطيء أفكارًا جديدة لبناء أنظمة ذكاء اصطناعي أكثر قوة وكفاءة.
عنوان الورقة: https://arxiv.org/pdf/2410.09918
وخلص محرر Downcodes إلى أن ظهور Dualformer يمثل خطوة كبيرة إلى الأمام في تصميم نماذج الذكاء الاصطناعي الأقرب إلى أنماط التفكير البشري.