Meta baru-baru ini mengumumkan bahwa mereka akan membangun dua cluster super yang dilengkapi dengan 24.000 GPU H100 untuk melatih model bahasa besar generasi berikutnya Llama-3. Proyek ini menggunakan jaringan RoCEv2 canggih dan solusi penyimpanan jaringan NFS/FUSE Tectonic/Hammerspace untuk meningkatkan efisiensi pelatihan dan kecepatan akses data. Llama-3 diperkirakan akan online pada akhir April atau pertengahan Mei dan mungkin merupakan model multi-modal. Meta juga berencana untuk terus menggunakan model open source. Langkah ini menyoroti tekad dan kekuatan Meta untuk terus berinvestasi di bidang model besar AI, dan pengembangannya di masa depan patut mendapat perhatian.
Meta merilis dua cluster 24K H100GPU di situs resminya, yang dirancang khusus untuk melatih model besar Llama-3. Llama-3 menggunakan jaringan RoCEv2 dan penyimpanan jaringan NFS/FUSE Tectonic/Hammerspace. Diperkirakan akan online pada akhir April atau pertengahan Mei, mungkin sebagai model multimodal dan terus menjadi open source. Meta berencana memiliki 600.000 daya komputasi H100 pada akhir tahun 2024.Investasi kekuatan komputasi skala besar Meta menandai pengembangan lebih lanjut dari pelatihan model AI di masa depan, dan peluncuran Llama-3 juga patut dinantikan. Karakteristik multi-modal dan strategi sumber terbukanya akan berdampak besar pada AI bidang. Rencana ambisius Meta sebesar 600.000 H100 menunjukkan kekuatan yang kuat dan arah pengembangan masa depan di bidang kecerdasan buatan.