أعلنت شركة Meta مؤخرًا أنها ستقوم ببناء مجموعتين فائقتين مجهزتين بـ 24000 وحدة معالجة رسوميات H100 لتدريب الجيل التالي من نموذج اللغة الكبير Llama-3. يستخدم المشروع شبكة RoCEv2 المتقدمة وحل تخزين الشبكة NFS/FUSE الخاص بـ Tectonic/Hammerspace لتحسين كفاءة التدريب وسرعة الوصول إلى البيانات. من المتوقع أن يكون Llama-3 متاحًا عبر الإنترنت في أواخر أبريل أو منتصف مايو وقد يكون نموذجًا متعدد الوسائط، وتخطط Meta أيضًا لمواصلة فتح النموذج. تسلط هذه الخطوة الضوء على تصميم Meta وقوتها على مواصلة الاستثمار في مجال نماذج الذكاء الاصطناعي الكبيرة، وتطويرها المستقبلي يستحق الاهتمام.
أصدرت Meta مجموعتين 24K H100GPU على موقعها الرسمي على الإنترنت، مصممتين خصيصًا لتدريب النموذج الكبير Llama-3. يستخدم Llama-3 شبكة RoCEv2 وتخزين شبكة NFS/FUSE الخاصة بـ Tectonic/Hammerspace. ومن المتوقع أن يصبح متاحًا على الإنترنت في أواخر أبريل أو منتصف مايو، ربما كنموذج متعدد الوسائط ويستمر في كونه مفتوح المصدر. تخطط Meta للحصول على 600000 قوة حوسبة H100 بحلول نهاية عام 2024.يبشر استثمار Meta في قوة الحوسبة على نطاق واسع بمزيد من التطوير للتدريب على نماذج الذكاء الاصطناعي في المستقبل، كما أن إصدار Llama-3 يستحق التطلع إليه أيضًا، وسيكون لخصائصه المتعددة الوسائط واستراتيجيته مفتوحة المصدر تأثير عميق على الذكاء الاصطناعي المجال. تُظهر خطة Meta الطموحة البالغة 600000 H100 قوتها القوية واتجاهها التطويري المستقبلي في مجال الذكاء الاصطناعي.