سيأخذك محرر Downcodes للتعرف على أحدث نتائج الأبحاث التي أجراها المعهد الفيدرالي السويسري للتكنولوجيا في لوزان (EPFL)! توفر هذه الدراسة مقارنة متعمقة بين طريقتين رئيسيتين للتدريب التكيفي لنماذج اللغة الكبيرة (LLM): التعلم السياقي (ICL) وضبط التعليمات (IFT)، وتستخدم معيار MT-Bench لتقييم قدرة النموذج على المتابعة. تعليمات. تظهر نتائج البحث أن الطريقتين لهما مزاياهما الخاصة في سيناريوهات مختلفة، مما يوفر مرجعا قيما لاختيار أساليب التدريب في ماجستير إدارة الأعمال.
قارنت دراسة حديثة أجرتها مدرسة الفنون التطبيقية الفيدرالية في لوزان (EPFL) في سويسرا بين طريقتين رئيسيتين للتدريب التكيفي لنماذج اللغة الكبيرة (LLM): التعلم السياقي (ICL) وضبط التعليمات (IFT). استخدم الباحثون معيار MT-Bench لتقييم قدرة النموذج على اتباع التعليمات، ووجدوا أن كلا الطريقتين كان أداؤهما أفضل أو أسوأ في ظل ظروف معينة.
لقد وجدت الأبحاث أنه عندما يكون عدد عينات التدريب المتاحة صغيرًا (على سبيل المثال، لا يزيد عن 50)، فإن تأثيرات ICL وIFT تكون متقاربة جدًا. يشير هذا إلى أن ICL قد يكون بديلاً لـ IFT عندما تكون البيانات محدودة.
ومع ذلك، مع زيادة تعقيد المهام، كما هو الحال في سيناريوهات الحوار متعدد المنعطفات، تصبح مزايا IFT واضحة. يعتقد الباحثون أن نموذج ICL عرضة للتناسب المفرط مع نمط عينة واحدة، مما يؤدي إلى ضعف الأداء عند التعامل مع المحادثات المعقدة، أو حتى أسوأ من النموذج الأساسي.
تناولت الدراسة أيضًا طريقة URIAL، التي تستخدم ثلاث عينات وتعليمات فقط لاتباع القواعد لتدريب نموذج اللغة الأساسي. على الرغم من أن URIAL قد حقق نتائج معينة، إلا أنه لا تزال هناك فجوة مقارنة بالنموذج الذي تم تدريبه بواسطة IFT. قام باحثو EPFL بتحسين أداء URIAL من خلال تحسين استراتيجية اختيار العينات، مما جعلها قريبة من نماذج الضبط الدقيق. وهذا يسلط الضوء على أهمية بيانات التدريب عالية الجودة لـ ICL وIFT والتدريب النموذجي الأساسي.
بالإضافة إلى ذلك، وجدت الدراسة أيضًا أن معلمات فك التشفير لها تأثير كبير على أداء النموذج. تحدد هذه المعلمات كيفية قيام النموذج بإنشاء النص وهي ضرورية لكل من LLM الأساسي والنماذج المدربة باستخدام URIAL.
لاحظ الباحثون أنه حتى النموذج الأساسي يمكنه اتباع التعليمات إلى حد ما في ظل معلمات فك التشفير المناسبة.
تكمن أهمية هذه الدراسة في أنها تكشف أن التعلم السياقي يمكنه ضبط نماذج اللغة بسرعة وكفاءة، خاصة عندما تكون عينات التدريب محدودة. ولكن بالنسبة للمهام المعقدة مثل المحادثات متعددة الأدوار، فإن الضبط الدقيق للأوامر لا يزال خيارًا أفضل.
ومع زيادة حجم مجموعة البيانات، سيستمر أداء IFT في التحسن، في حين سيستقر أداء ICL بعد الوصول إلى عدد معين من العينات. ويؤكد الباحثون أن الاختيار بين ICL وIFT يعتمد على مجموعة متنوعة من العوامل، مثل الموارد المتاحة، وحجم البيانات، ومتطلبات التطبيق المحددة. أيًا كانت الطريقة التي تختارها، فإن بيانات التدريب عالية الجودة أمر بالغ الأهمية.
بشكل عام، توفر دراسة EPFL هذه رؤى جديدة حول اختيار طرق التدريب لنماذج اللغة الكبيرة وتحدد الطريق لاتجاهات البحث المستقبلية. يتطلب اختيار ICL أو IFT الموازنة بين الإيجابيات والسلبيات بناءً على الموقف المحدد، والبيانات عالية الجودة هي المفتاح دائمًا. نأمل أن يساعد هذا البحث الجميع على فهم نماذج اللغة الكبيرة وتطبيقها بشكل أفضل.