في السنوات الأخيرة، أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات مذهلة في مختلف المجالات، ولكن قدراتها على التفكير الرياضي ضعيفة بشكل مدهش. سيقوم محرر Downcodes بتفسير أحدث دراسة لك، والتي تكشف "السر" المذهل لـ LLM في العمليات الحسابية، ويحلل قيود هذه الطريقة واتجاه التحسين المستقبلي. لا يؤدي هذا البحث إلى تعميق فهمنا لآلية التشغيل الداخلي لمادة LLM فحسب، بل يوفر أيضًا مرجعًا قيمًا لتحسين القدرات الرياضية لمادة LLM.
في الآونة الأخيرة، حققت نماذج اللغات الكبيرة للذكاء الاصطناعي (LLM) أداءً جيدًا في العديد من المهام، بما في ذلك كتابة الشعر وكتابة التعليمات البرمجية والدردشة، فهي بكل بساطة قادرة على كل شيء! ولكن، هل تصدق ذلك؟ غالبا ما تنقلب عند حل المسائل الحسابية البسيطة، وهو أمر يثير الدهشة.
كشفت دراسة حديثة عن السر "الغريب" وراء قدرات التفكير الحسابي لدى LLM: فهي لا تعتمد على خوارزميات قوية ولا على ذاكرة، بل تعتمد استراتيجية تسمى "الخليط الإرشادي" هذا مثل الطالب الذي لا يدرس الصيغ والنظريات الرياضية بجدية، ولكنه يعتمد على بعض "القليل من الذكاء" و"القواعد الأساسية" للحصول على الإجابة.
استخدم الباحثون الاستدلال الحسابي كمهمة نموذجية وأجروا تحليلًا متعمقًا للعديد من دورات LLM مثل Llama3 وPythia وGPT-J. ووجدوا أن الجزء من نموذج LLM المسؤول عن الحسابات الحسابية (يسمى "الدائرة") يتكون من العديد من الخلايا العصبية الفردية، كل منها تعمل مثل "آلة حاسبة مصغرة" وتكون مسؤولة فقط عن التعرف على أنماط رقمية محددة وإخراج الأرقام المقابلة لها. إجابة. على سبيل المثال، قد تكون إحدى الخلايا العصبية مسؤولة عن تحديد "الأرقام التي يكون رقمها الفردي 8"، بينما قد تكون خلية عصبية أخرى مسؤولة عن تحديد "عمليات الطرح التي تتراوح نتائجها بين 150 و180".
تشبه هذه "الآلات الحاسبة الصغيرة" مجموعة من الأدوات، وبدلاً من استخدامها وفقًا لخوارزمية محددة، تستخدم LLM مجموعة عشوائية من هذه "الأدوات" لحساب الإجابة بناءً على نمط الأرقام التي تدخلها. إنه مثل الطاهي الذي ليس لديه وصفة ثابتة، ولكنه يخلطها حسب الرغبة بناءً على المكونات المتوفرة في متناول اليد، وفي النهاية يصنع "المطبخ المظلم".
والأمر الأكثر إثارة للدهشة هو أن استراتيجية "الخليط الإرشادي" هذه ظهرت بالفعل في المراحل الأولى من التدريب على LLM وتم تحسينها تدريجيًا مع تقدم التدريب. وهذا يعني أن LLM تعتمد على هذا النهج "المرقّع" في التفكير منذ البداية، بدلاً من تطوير هذه الإستراتيجية في مرحلة لاحقة.
إذن، ما هي المشاكل التي ستسببها طريقة التفكير الحسابي "الغريبة" هذه؟ وجد الباحثون أن استراتيجية "الخليط الإرشادي" لديها قدرة محدودة على التعميم وعرضة للأخطاء. وذلك لأن LLM لديها عدد محدود من "الذكاءات الصغيرة"، وهذه "الذكاءات الصغيرة" نفسها قد تحتوي أيضًا على عيوب تمنعها من إعطاء الإجابات الصحيحة عند مواجهة أنماط رقمية جديدة. تمامًا مثل الطاهي الذي لا يمكنه سوى إعداد "البيض المخفوق بالطماطم"، إذا طُلب منه فجأة إعداد "لحم الخنزير المبشور بنكهة السمك"، فمن المؤكد أنه سيكون في عجلة من أمره وسيكون في حيرة من أمره.
كشفت هذه الدراسة عن القيود المفروضة على قدرة التفكير الحسابي في LLM وأشارت أيضًا إلى الاتجاه لتحسين القدرة الرياضية في LLM في المستقبل. يعتقد الباحثون أن الاعتماد فقط على أساليب التدريب الحالية وهندسة النماذج قد لا يكون كافيًا لتحسين قدرات التفكير الحسابي في LLM، ويجب استكشاف طرق جديدة لمساعدة LLM على تعلم خوارزميات أكثر قوة وعامة حتى يتمكنوا من أن يصبحوا "أساتذة رياضيات" حقًا.
عنوان الورقة: https://arxiv.org/pdf/2410.21272
بشكل عام، توفر هذه الدراسة تحليلًا متعمقًا لاستراتيجيات LLM "الغريبة" في التفكير الرياضي، وتوفر منظورًا جديدًا لنا لفهم قيود LLM، وتشير إلى اتجاه البحث المستقبلي. أعتقد أنه مع التطور المستمر للتكنولوجيا، سيتم تحسين القدرات الرياضية لـ LLM بشكل كبير.