أعلنت شركة Meta مؤخرًا أن قوة الحوسبة اللازمة لتدريب نماذج لغوية واسعة النطاق ستزداد بشكل كبير في المستقبل. كشف الرئيس التنفيذي لشركة Meta Zuckerberg خلال مكالمة الأرباح أن حجم حساب التدريب في Llama 4 سيكون عشرة أضعاف حجم Llama 3. تسلط هذه الأخبار الضوء على التكلفة العالية والتحديات التقنية للتدريب على نماذج اللغة على نطاق واسع، وتعكس أيضًا المنافسة الشرسة المستمرة بين عمالقة التكنولوجيا في مجال الذكاء الاصطناعي. تستثمر Meta بشكل نشط في بناء قدرات الحوسبة المقابلة لتلبية احتياجات التدريب النموذجية المستقبلية.
تعتقد شركة Meta، باعتبارها مطور نموذج اللغة الأساسية مفتوح المصدر واسع النطاق Llama، أن قوة الحوسبة المطلوبة لتدريب النماذج ستزداد بشكل كبير في المستقبل. في يوم الثلاثاء، خلال مكالمة أرباح Meta للربع الثاني، كشف مارك زوكربيرج أن تدريب Llama4 سيتطلب 10 أضعاف القوة الحاسوبية لتدريب Llama3. وشدد على أنه على الرغم من ذلك، يجب على ميتا بناء القدرة على تدريب النماذج حتى لا تتخلف عن منافسيها.
وقال زوكربيرج: "قد يتطلب تدريب Llama4 ما يقرب من 10 أضعاف مقدار الحساب المطلوب لتدريب Llama3، وستظل النماذج المستقبلية تتطلب المزيد من الحساب"، وأشار أيضًا إلى أنه من الصعب التنبؤ باتجاه تطوير النماذج المستقبلية متعددة الأجيال. ولكن في هذه اللحظة من الأفضل بناء القدرات المطلوبة مسبقًا بدلاً من أن نتأخر كثيرًا، فبدء مشروع استدلالي جديد يتطلب وقتًا طويلاً للتحضير.
في أبريل من هذا العام، أصدرت Meta Llama3 مع 80 مليار معلمة. في الأسبوع الماضي، أصدرت الشركة نسختها المطورة Llama3.1405B، مع معلمات تصل إلى 405 مليار، لتصبح أكبر نموذج مفتوح المصدر لـ Meta.
وقالت سوزان لي، المديرة المالية لشركة Meta، أيضًا إن الشركة تدرس مشاريع مختلفة لمراكز البيانات وبناء القدرات لتدريب نماذج الذكاء الاصطناعي المستقبلية. وقالت ميتا إنها تتوقع أن يؤدي الاستثمار إلى زيادة الإنفاق الرأسمالي في عام 2025.
كما تعلمون، يعد تدريب نماذج اللغات الكبيرة عملاً مكلفًا. وفي الربع الثاني من عام 2024، زادت النفقات الرأسمالية لشركة Meta بنحو 33% إلى 8.5 مليار دولار من 6.4 مليار دولار قبل عام، مدفوعة بالاستثمارات في الخوادم ومراكز البيانات والبنية التحتية للشبكات.
أبرز النقاط:
ميتا قوة الحوسبة المطلوبة لتدريب Llama4 تبلغ حوالي 10 أضعاف قوة تدريب Llama3.
وتتوقع ميتا أن تؤدي الاستثمارات في بناء القدرات إلى زيادة النفقات الرأسمالية في عام 2025.
يعد تدريب نماذج اللغات الكبيرة أمرًا مكلفًا، وقد زادت النفقات الرأسمالية لشركة Meta بشكل ملحوظ في الربع الثاني.
بشكل عام، يُظهر استثمار Meta الضخم في تدريب نماذج الذكاء الاصطناعي المستقبلية طموحاتها في مجال الذكاء الاصطناعي، ولكنه يبشر أيضًا بالمنافسة الشرسة المتزايدة في صناعة الذكاء الاصطناعي والتقدم السريع في تطوير التكنولوجيا. وسيكون لهذا عواقب وخيمة على صناعة التكنولوجيا بأكملها.