في مجال الذكاء الاصطناعي ، كان تدريب نماذج اللغة الكبيرة (LLM) دائمًا مهمة كثيفة الموارد ، وعادة ما يكون عدد قليل من عمالقة التكنولوجيا لا يمكنهم القيام به. ومع ذلك ، فإن طريقة Google التي تم إطلاقها مؤخرًا (Small Model Beded Model Training) قد تغير هذا الموقف تمامًا. هذا الابتكار لا يقلل من تكاليف التدريب فحسب ، بل يحسن أيضًا أداء النموذج ، مما يفتح الباب لتطوير الذكاء الاصطناعي لمزيد من مؤسسات البحث والمؤسسات.
ملاحظات مصدر الصورة: يتم إنشاء الصورة بواسطة الذكاء الاصطناعي ، ومزود الخدمة المعتمد Midjourney
يكمن جوهر طريقة الملح في عملية التدريب على مرحلتين. المرحلة الأولى هي تقطير المعرفة ، ويعمل نموذج اللغة الصغيرة (SLM) كـ "مدرس" ، ويمرر المعرفة المستفادة إلى النموذج الكبير من خلال "العلامات اللينة". هذه المرحلة مناسبة بشكل خاص للمهام الأساسية التي أتقنتها النماذج الصغيرة ، مما يساعد النماذج الكبيرة على وضع أساس متين في التعلم المبكر.
المرحلة الثانية هي التعلم الخاضع للإشراف ، حيث بدأت نماذج كبيرة في التعلم بشكل مستقل ، مع التركيز على مهام أكثر تعقيدًا. تتطلب هذه المرحلة من الانتقال تصميمًا دقيقًا ، بما في ذلك استراتيجيات مثل التوهين الخطي والتوهين النسبي الخطي ، لضمان أن النماذج الكبيرة يمكنها تقليل اعتمادها تدريجياً على النماذج الصغيرة وتحقيق التعلم والتحسين المستقلين في النهاية.
تُظهر أبحاث Google أن استخدام طريقة الملح لتدريب نموذج كبير يحتوي على 2.8 مليار معلمة له انخفاض بنسبة 28 ٪ في الوقت المحدد وقد تحسن من الدقة في المشكلات الرياضية ومهام فهم القراءة بنسبة 3 ٪ و 4 ٪ على التوالي. لا يوضح هذا التحسن المهم للأداء كفاءة الملح فحسب ، بل يوضح أيضًا إمكاناته القوية في المهام المعقدة.
إن ظهور الملح لا يحسن كفاءة التدريب فحسب ، بل يقلل أيضًا من عتبة تطوير الذكاء الاصطناعي. في الماضي ، تكاليف التدريب فقط يمكن لشركات التكنولوجيا الكبيرة تحمل تكاليفها ، والآن يمكن للعديد من المؤسسات والشركات البحثية الصغيرة المشاركة. سيؤدي ذلك إلى تعزيز ظهور حلول الذكاء الاصطناعي المبتكرة والمهنية ويعزز تطوير مجال الذكاء الاصطناعي.
بشكل عام ، لا تعمل طريقة الملح على تحسين أداء النماذج الكبيرة من خلال تقديم التدريب الإضافي للموديلات الصغيرة ، ولكن أيضًا يقلل من تكلفة التدريب بشكل كبير. من المتوقع أن يؤدي هذا الابتكار إلى إثارة ثورة في مجال الذكاء الاصطناعي ، مما يسمح لمزيد من المؤسسات بالمشاركة في البحث والتطوير في الذكاء الاصطناعي وتعزيز تقدم الصناعة بأكملها.