Meta a récemment annoncé qu'elle construirait deux super clusters équipés de 24 000 GPU H100 pour former son grand modèle de langage de nouvelle génération Llama-3. Le projet utilise le réseau avancé RoCEv2 et la solution de stockage réseau NFS/FUSE de Tectonic/Hammerspace pour améliorer l'efficacité de la formation et la vitesse d'accès aux données. Llama-3 devrait être en ligne fin avril ou mi-mai et pourrait être un modèle multimodal. Meta prévoit également de continuer à ouvrir le modèle en source. Cette décision met en évidence la détermination et la force de Meta à continuer d’investir dans le domaine des grands modèles d’IA, et son développement futur mérite l’attention.
Meta a publié deux clusters 24K H100GPU sur son site officiel, spécialement conçus pour entraîner le grand modèle Llama-3. Llama-3 utilise le réseau RoCEv2 et le stockage réseau NFS/FUSE de Tectonic/Hammerspace. Il devrait être mis en ligne fin avril ou mi-mai, éventuellement sous la forme d'un modèle multimodal, et continuera d'être open source. Meta prévoit de disposer de 600 000 puissances de calcul H100 d’ici fin 2024.L'investissement à grande échelle de Meta dans la puissance de calcul annonce le développement futur de la formation de modèles d'IA, et la sortie de Llama-3 mérite également d'être attendue. Ses caractéristiques multimodales et sa stratégie open source auront un impact profond sur l'IA. champ. L’ambitieux plan de Meta de 600 000 H100 démontre sa solide force et son orientation future en matière de développement dans le domaine de l’intelligence artificielle.