A Meta anunciou recentemente o lançamento do mais recente membro de sua série Llama – Llama3.370B. Ahmad Al-Dahle, vice-presidente de IA generativa da Meta, deu a notícia sobre a redução significativa.
Al-Dahle disse que, ao aproveitar a mais recente tecnologia pós-treinamento, o Llama3.370B não apenas melhora o desempenho, mas também reduz os custos operacionais. De acordo com os resultados dos testes de benchmark divulgados pela Meta, o Llama3.370B superou o Gemini1.5Pro do Google, o GPT-4 da OpenAI e o recém-lançado Nova Pro da Amazon em muitos campos, especialmente no teste MMLU que avalia a capacidade de compreensão da linguagem do modelo.
O modelo já está disponível para download em fontes como Hugging Face e na plataforma oficial do Llama, uma jogada da Meta que visa dominar o campo da IA com modelos “abertos”. O modelo Llama da Meta pode ser aplicado a uma variedade de cenários e oferece suporte à comercialização, embora a Meta tenha definido restrições de uso para alguns desenvolvedores, exigindo que plataformas com mais de 700 milhões de usuários mensais solicitem licenças especiais. Apesar disso, o modelo Llama foi baixado mais de 650 milhões de vezes, indicando sua ampla popularidade entre os desenvolvedores de IA em todo o mundo.
Para apoiar o treinamento de modelos de IA em larga escala no futuro, a Meta está investindo pesadamente em infraestrutura computacional. A empresa anunciou recentemente que construirá um data center de IA de US$ 10 bilhões na Louisiana, que é o maior data center de IA da Meta até o momento. Zuckerberg mencionou durante a teleconferência que, para treinar o modelo Llama4 de próxima geração, o poder de computação necessário será 10 vezes maior que o do Llama3. A Meta comprou atualmente mais de 100.000 clusters de GPU Nvidia, igualando os recursos de concorrentes como xAI.
À medida que o custo do treinamento de modelos de IA generativos continua a aumentar, as despesas de capital da Meta também mostram uma tendência crescente no segundo trimestre de 2024, aumentando quase 33%, para US$ 8,5 bilhões. Este crescimento deve-se principalmente ao investimento contínuo da Meta em servidores, data centers e infraestrutura de rede.