أظهرت النماذج اللغوية الكبيرة (LLM) قدرات مذهلة في العديد من المجالات، ومع ذلك، كشفت دراسة حديثة عن نقاط ضعف "غريبة" في الاستدلال الحسابي: كثيرًا ما ترتكب أنظمة الذكاء الاصطناعي "العبقرية" أخطاء في العمليات الرياضية البسيطة! أجرى الباحثون تحليلًا متعمقًا للعديد من دورات LLM مثل Llama3 وPythia وGPT-J ووجدوا أنهم لم يعتمدوا على خوارزميات قوية أو ذاكرة لإجراء العمليات الحسابية، بل اعتمدوا استراتيجية "الخليط الإرشادي"، تمامًا مثل الإستراتيجية التي تعتمد على حول "القليل من الذكاء" و"القواعد الأساسية" للطلاب الذين يحصلون على الإجابات.
في الآونة الأخيرة، حققت نماذج اللغات الكبيرة للذكاء الاصطناعي (LLM) أداءً جيدًا في العديد من المهام، بما في ذلك كتابة الشعر وكتابة التعليمات البرمجية والدردشة، فهي بكل بساطة قادرة على كل شيء! ولكن، هل تصدق ذلك؟ غالبا ما تنقلب عند حل المسائل الحسابية البسيطة، وهو أمر يثير الدهشة.
كشفت دراسة حديثة عن السر "الغريب" وراء قدرات التفكير الحسابي لدى LLM: فهي لا تعتمد على خوارزميات قوية ولا على ذاكرة، بل تعتمد استراتيجية تسمى "الخليط الإرشادي" هذا مثل الطالب الذي لا يدرس الصيغ والنظريات الرياضية بجدية، ولكنه يعتمد على بعض "القليل من الذكاء" و"القواعد الأساسية" للحصول على الإجابة.
استخدم الباحثون الاستدلال الحسابي كمهمة نموذجية وأجروا تحليلًا متعمقًا للعديد من دورات LLM مثل Llama3 وPythia وGPT-J. ووجدوا أن الجزء من نموذج LLM المسؤول عن الحسابات الحسابية (يسمى "الدائرة") يتكون من العديد من الخلايا العصبية الفردية، كل منها تعمل مثل "آلة حاسبة مصغرة" وهي مسؤولة فقط عن التعرف على أنماط رقمية محددة وإخراج الأرقام المقابلة لها. إجابة. على سبيل المثال، قد تكون إحدى الخلايا العصبية مسؤولة عن تحديد "الأرقام التي يكون رقمها الفردي 8"، بينما قد تكون خلية عصبية أخرى مسؤولة عن تحديد "عمليات الطرح التي تتراوح نتائجها بين 150 و180".
تشبه هذه "الحاسبات الدقيقة" مجموعة من الأدوات، وبدلاً من استخدامها وفقًا لخوارزمية محددة، تستخدم LLM مجموعة عشوائية من هذه "الأدوات" لحساب الإجابة بناءً على نمط الأرقام التي تدخلها. إنه مثل الطاهي الذي ليس لديه وصفة ثابتة، ولكنه يخلطها حسب الرغبة بناءً على المكونات المتوفرة في متناول اليد، وفي النهاية يصنع "المطبخ المظلم".
والأمر الأكثر إثارة للدهشة هو أن استراتيجية "الخليط الإرشادي" هذه ظهرت بالفعل في المراحل الأولى من التدريب على LLM وتم تحسينها تدريجيًا مع تقدم التدريب. وهذا يعني أن LLM تعتمد على هذا النهج "المرقّع" في التفكير منذ البداية، بدلاً من تطوير هذه الإستراتيجية في مرحلة لاحقة.
إذن، ما هي المشاكل التي ستسببها طريقة التفكير الحسابي "الغريبة" هذه؟ وجد الباحثون أن استراتيجية "الخليط الإرشادي" لديها قدرة محدودة على التعميم وعرضة للأخطاء. وذلك لأن LLM لديها عدد محدود من "الذكاءات الصغيرة"، وهذه "الذكاءات الصغيرة" نفسها قد تحتوي أيضًا على عيوب تمنعها من إعطاء الإجابات الصحيحة عند مواجهة أنماط رقمية جديدة. تمامًا مثل الطاهي الذي لا يمكنه سوى إعداد "البيض المخفوق بالطماطم"، إذا طُلب منه فجأة إعداد "لحم الخنزير المبشور بنكهة السمك"، فمن المؤكد أنه سيكون في عجلة من أمره وسيكون في حيرة من أمره.
كشفت هذه الدراسة عن القيود المفروضة على قدرة التفكير الحسابي في LLM وأشارت أيضًا إلى الاتجاه لتحسين القدرة الرياضية في LLM في المستقبل. يعتقد الباحثون أن الاعتماد فقط على أساليب التدريب الحالية وهندسة النماذج قد لا يكون كافيًا لتحسين قدرات التفكير الحسابي في LLM، ويجب استكشاف طرق جديدة لمساعدة LLM على تعلم خوارزميات أكثر قوة وعامة حتى يتمكنوا حقًا من أن يصبحوا "أساتذة رياضيين".
عنوان الورقة: https://arxiv.org/pdf/2410.21272
لا يشرح هذا البحث أوجه القصور في LLM في الحسابات الرياضية فحسب، بل الأهم من ذلك أنه يوفر اتجاهًا مرجعيًا قيمًا للتحسينات المستقبلية في LLM. يحتاج البحث المستقبلي إلى التركيز على كيفية تحسين القدرة على التعميم والقدرة على التعلم الخوارزمي لمادة LLM لحل أوجه القصور في التفكير الحسابي وجعلها تمتلك حقًا قدرات رياضية قوية.