يُظهر بحث جديد أجراه فريق بحث في جامعة إلينوي في أوربانا شامبين أن دمج التعليمات البرمجية في بيانات التدريب الخاصة بنموذج اللغة الكبير (LLM) يمكن أن يحسن أداء وقدرات النموذج بشكل كبير. تتعمق هذه الدراسة في تأثير التدريب المسبق على الكود على LLM وتحلل أداء LLM كوكيل. تظهر نتائج البحث أن تكامل التعليمات البرمجية يمكن أن يمنح LLM القدرة على أداء المهام بشكل أكثر دقة واكتساب المعرفة الخارجية ومعالجة البيانات المتعددة الوسائط. ومع ذلك، يشير البحث أيضًا إلى ضرورة توخي الحذر عند اختيار إشارات ردود الفعل ويؤكد على أهمية تعزيز سمات التعليمات البرمجية في بيانات التدريب لزيادة تحسين قدرات الاستدلال للنموذج.
توضح الأبحاث التي أجرتها جامعة إلينوي في أوربانا شامبين تأثير التدريب المسبق على التعليمات البرمجية على LLM وتتتبع دورها كعامل ذكي. من خلال تكامل التعليمات البرمجية، يمكن للنماذج أداء المهام بشكل أكثر دقة ولديها القدرة على اكتساب المعرفة الخارجية وبيانات الوسائط المتعددة. ومع ذلك، الحذر مطلوب عند اختيار إشارات ردود الفعل، كما قد تؤثر الإشارات الصاخبة على أداء النموذج في المهام النهائية. بالإضافة إلى ذلك، يعتقد الباحثون أن تعزيز سمات التعليمات البرمجية في بيانات التدريب يمكن أن يحسن بشكل مباشر قدرات الاستدلال للنموذج. يوفر هذا البحث المزيد من الفرص لزيادة تعزيز قدرات الاستدلال النموذجي، ولكنه يحتاج أيضًا إلى معالجة التحديات التي تواجهها عندما يكون النموذج متصلاً بمحطات وظيفية مختلفة.
يوفر هذا البحث مرجعًا قيمًا لتطوير LLM، وسوف تستكشف الأبحاث المستقبلية كيفية استخدام بيانات الكود بشكل أفضل مع حل التحديات التي قد يواجهها النموذج في التطبيقات العملية لتعزيز التقدم المستمر لتكنولوجيا LLM والتطبيق الأوسع.