Meta anunció recientemente que construirá dos súper clústeres equipados con 24.000 GPU H100 para entrenar su modelo de lenguaje grande Llama-3 de próxima generación. El proyecto utiliza la red RoCEv2 avanzada y la solución de almacenamiento en red NFS/FUSE de Tectonic/Hammerspace para mejorar la eficiencia del entrenamiento y la velocidad de acceso a los datos. Se espera que Llama-3 esté en línea a finales de abril o mediados de mayo y puede ser un modelo multimodal. Meta también planea continuar con el código abierto del modelo. Este movimiento resalta la determinación y la fuerza de Meta para continuar invirtiendo en el campo de los grandes modelos de IA, y su desarrollo futuro es digno de atención.
Meta lanzó dos clústeres 24K H100GPU en su sitio web oficial, especialmente diseñados para entrenar el modelo grande Llama-3. Llama-3 utiliza redes RoCEv2 y almacenamiento de red NFS/FUSE de Tectonic/Hammerspace. Se espera que entre en funcionamiento a finales de abril o mediados de mayo, posiblemente como modelo multimodal y siga siendo de código abierto. Meta planea tener 600.000 potencia informática H100 para finales de 2024.La inversión en potencia informática a gran escala de Meta presagia un mayor desarrollo del entrenamiento de modelos de IA en el futuro, y también vale la pena esperar el lanzamiento de Llama-3. Sus características multimodales y su estrategia de código abierto tendrán un profundo impacto en la IA. campo. El ambicioso plan de 600.000 H100 de Meta demuestra su gran fortaleza y dirección de desarrollo futuro en el campo de la inteligencia artificial.