Relatórios do editor de downcodes: Meta AI lançou MobileLLM, um modelo de linguagem novo e eficiente projetado para dispositivos com recursos limitados, como smartphones. Ele desafia a compreensão tradicional da escala de modelos de linguagem de grande porte. Seu número de parâmetros é muito menor do que modelos gigantes como o GPT-4, mas apresenta bom desempenho em testes de benchmark. O resultado desta pesquisa, concluído pelas equipes Meta Reality Labs, PyTorch e Meta AI Research, foi lançado em 27 de junho de 2024, fornecendo uma nova direção para o desenvolvimento leve de modelos de IA.
Pesquisadores da MetaAI revelaram o MobileLLM, uma nova abordagem para projetar modelos de linguagem eficientes para smartphones e outros dispositivos com recursos limitados. O estudo, publicado em 27 de junho de 2024, desafia suposições sobre a escala necessária de modelos de IA eficazes.
A equipe de pesquisa, composta por membros do Meta Reality Labs, PyTorch e Meta AI Research (FAIR), concentra-se na otimização de modelos com menos de 1 bilhão de parâmetros. Esta é apenas uma fração de modelos como o GPT-4, que se estima terem mais de um trilhão de parâmetros.
As principais inovações do MobileLLM incluem:
Essas opções de design permitem que o MobileLLM supere os modelos anteriores de tamanho semelhante em 2,7% a 4,3% em tarefas de benchmark comuns. Embora estas melhorias de um dígito possam parecer pequenas, representam um progresso significativo no campo altamente competitivo do desenvolvimento de modelos linguísticos.
Notavelmente, em certas tarefas de chamada de API, a versão de 350 milhões de parâmetros do MobileLLM mostrou precisão comparável ao modelo maior de 7 bilhões de parâmetros LLaMA-2. Isto sugere que, para algumas aplicações específicas, modelos mais compactos podem fornecer funcionalidades semelhantes enquanto utilizam menos recursos computacionais.
O desenvolvimento do MobileLLM coincide com o crescente interesse em modelos de IA mais eficientes. À medida que o progresso em modelos de linguagem muito grandes mostra sinais de abrandamento, os investigadores exploram cada vez mais o potencial de designs mais compactos e especializados. Apesar do “LLM” no nome, o foco na eficiência e na implantação de dispositivos coloca o MobileLLM na mesma categoria do que alguns pesquisadores chamam de modelos de linguagem pequena (SLMs).
Embora o MobileLLM ainda não esteja disponível ao público, a Meta tornou o código de pré-treinamento de código aberto, permitindo que outros pesquisadores desenvolvam seu trabalho. À medida que a tecnologia se desenvolve, poderá trazer capacidades de IA mais avançadas para dispositivos pessoais, embora o cronograma e as capacidades específicas permaneçam incertos.
O surgimento do MobileLLM indica que modelos de IA leves e eficientes se tornarão uma tendência importante no desenvolvimento futuro, trazendo capacidades de IA mais poderosas para mais dispositivos. O editor do Downcodes continuará atento ao progresso subsequente desta tecnologia.