Meta anunciou recentemente que o poder computacional necessário para treinar modelos de linguagem em grande escala aumentará exponencialmente no futuro. O CEO da Meta, Zuckerberg, revelou durante a teleconferência que o volume de cálculo de treinamento do Llama 4 será dez vezes maior que o do Llama 3. Esta notícia destaca o alto custo e os desafios técnicos do treinamento em modelos linguísticos em larga escala e também reflete a contínua competição acirrada entre os gigantes da tecnologia no campo da IA. A Meta está investindo ativamente na construção de capacidades de computação correspondentes para atender às futuras necessidades de treinamento de modelos.
Meta, como desenvolvedora do modelo de linguagem básica de código aberto em larga escala Llama, acredita que o poder de computação necessário para treinar modelos aumentará significativamente no futuro. Na terça-feira, durante a teleconferência de resultados do segundo trimestre da Meta, Mark Zuckerberg revelou que treinar o Llama4 exigirá 10 vezes o poder de computação do treinamento do Llama3. Ele enfatizou que mesmo assim a Meta deve construir a capacidade de treinar modelos para não ficar atrás dos concorrentes.
“Treinar o Llama4 pode exigir quase 10 vezes a quantidade de computação necessária para treinar o Llama3, e os modelos futuros continuarão a exigir mais computação”, disse Zuckerberg. Ele também observou que é difícil prever a tendência de desenvolvimento de futuros modelos de múltiplas gerações. , mas neste momento é melhor construir as capacidades necessárias com antecedência do que tarde demais. Afinal, iniciar um novo projeto de inferência requer um longo tempo de preparação.
Em abril deste ano, a Meta lançou o Llama3 com 80 bilhões de parâmetros. Na semana passada, a empresa lançou sua versão atualizada Llama3.1405B, com parâmetros que chegam a 405 bilhões, tornando-se o maior modelo de código aberto do Meta.
A CFO da Meta, Susan Lee, também disse que a empresa está considerando diferentes projetos de data center e construindo capacidades para treinar futuros modelos de IA. Meta espera que o investimento aumente os gastos de capital em 2025, disse ela.
Você sabe, treinar grandes modelos de linguagem é um negócio caro. No segundo trimestre de 2024, as despesas de capital da Meta aumentaram quase 33%, para US$ 8,5 bilhões, de US$ 6,4 bilhões um ano atrás, impulsionadas por investimentos em servidores, data centers e infraestrutura de rede.
Destaques:
?Meta O poder de computação necessário para treinar o Llama4 é aproximadamente 10 vezes maior que o do treinamento do Llama3.
?Meta espera que os investimentos na construção de capacidade aumentem as despesas de capital em 2025.
?Treinar grandes modelos de linguagem é caro e as despesas de capital da Meta aumentaram significativamente no segundo trimestre.
Em suma, o enorme investimento da Meta no futuro treinamento de modelos de IA demonstra suas ambições no campo da inteligência artificial, mas também anuncia a concorrência cada vez mais acirrada na indústria de IA e o rápido avanço do desenvolvimento tecnológico. Isto terá consequências profundas para toda a indústria tecnológica.