تقارير محرر Downcodes: أطلقت Meta AI MobileLLM، وهو نموذج لغة جديد وفعال مصمم للأجهزة ذات الموارد المحدودة مثل الهواتف الذكية. إنه يتحدى الفهم التقليدي لحجم نماذج اللغة الكبيرة، وعدد معلماته أصغر بكثير من النماذج العملاقة مثل GPT-4، ولكنه يؤدي أداءً جيدًا في الاختبارات المعيارية. تم إصدار نتيجة البحث هذه، التي أكملتها فرق Meta Reality Labs وPyTorch وMeta AI Research، في 27 يونيو 2024، مما يوفر اتجاهًا جديدًا للتطوير الخفيف لنماذج الذكاء الاصطناعي.
كشف باحثو MetaAI النقاب عن MobileLLM، وهو نهج جديد لتصميم نماذج لغوية فعالة للهواتف الذكية والأجهزة الأخرى ذات الموارد المحدودة. تتحدى الدراسة، التي نُشرت في 27 يونيو 2024، الافتراضات المتعلقة بالحجم الضروري لنماذج الذكاء الاصطناعي الفعالة.
يركز فريق البحث، المكون من أعضاء من Meta Reality Labs وPyTorch وMeta AI Research (FAIR)، على تحسين النماذج بأقل من مليار معلمة. وهذا مجرد جزء صغير من النماذج مثل GPT-4، والتي يُقدر أنها تحتوي على أكثر من تريليون معلمة.
تشمل الابتكارات الرئيسية لـ MobileLLM ما يلي:
تسمح خيارات التصميم هذه لـ MobileLLM بالتفوق على النماذج السابقة ذات الحجم المماثل بنسبة 2.7% إلى 4.3% في المهام المعيارية الشائعة. في حين أن هذه التحسينات المكونة من رقم واحد قد تبدو صغيرة، إلا أنها تمثل تقدمًا كبيرًا في مجال تطوير نماذج اللغة شديد التنافسية.
والجدير بالذكر أنه في بعض مهام استدعاء واجهة برمجة التطبيقات (API)، أظهر إصدار MobileLLM الذي يحتوي على 350 مليون معلمة دقة مماثلة للنموذج الأكبر LLaMA-2 الذي يضم 7 مليارات معلمة. يشير هذا إلى أنه بالنسبة لبعض التطبيقات المحددة، قد توفر النماذج الأكثر إحكاما وظائف مماثلة مع استخدام موارد حسابية أقل.
يتزامن تطوير MobileLLM مع الاهتمام المتزايد بنماذج الذكاء الاصطناعي الأكثر كفاءة. نظرًا لأن التقدم في النماذج اللغوية الكبيرة جدًا يُظهر علامات التباطؤ، فإن الباحثين يستكشفون بشكل متزايد إمكانات تصميمات أكثر إحكاما وتخصصًا. على الرغم من وجود "LLM" في الاسم، فإن التركيز على الكفاءة ونشر الأجهزة يضع MobileLLM في نفس فئة ما يسميه بعض الباحثين نماذج اللغات الصغيرة (SLMs).
على الرغم من أن MobileLLM ليس متاحًا للعامة بعد، إلا أن Meta جعلت كود التدريب المسبق مفتوح المصدر، مما يسمح للباحثين الآخرين بالبناء على عمله. مع تطور التكنولوجيا، قد تجلب المزيد من قدرات الذكاء الاصطناعي المتقدمة إلى الأجهزة الشخصية، على الرغم من أن الجدول الزمني والقدرات المحددة لا تزال غير مؤكدة.
يشير ظهور MobileLLM إلى أن نماذج الذكاء الاصطناعي خفيفة الوزن والفعالة ستصبح اتجاهًا مهمًا في التطوير المستقبلي، مما يوفر إمكانات ذكاء اصطناعي أكثر قوة لعدد أكبر من الأجهزة. سيستمر محرر Downcodes في الاهتمام بالتقدم اللاحق لهذه التكنولوجيا.