Pesquisadores da Universidade de Michigan desenvolveram uma ferramenta de software chamada Perseus que reduz significativamente o consumo de energia do treinamento de grandes modelos de idiomas. Este estudo inovador mostra que, ao otimizar a alocação de recursos durante o treinamento, o consumo de energia pode ser reduzido em 30% sem afetar a velocidade de treinamento. Essa tecnologia não apenas tem benefícios econômicos importantes, mas também pode fazer grandes contribuições para a causa da proteção ambiental.
Um novo estudo da Universidade de Michigan descobriu que um método de economia de trabalho para treinar grandes modelos de idiomas pode ser concluído no mesmo tempo, mas o consumo de energia pode ser reduzido em 30%. Essa abordagem pode economizar energia suficiente para alimentar 1,1 milhão de residências nos EUA até 2026.
Os pesquisadores desenvolveram uma ferramenta de software chamada Perseus que identifica caminhos críticos, uma série de subtarefas que demoram mais tempo para serem concluídas. Perseus então diminui a velocidade do processador em caminhos não críticos para que todos façam o trabalho ao mesmo tempo, eliminando o consumo desnecessário de energia.
A equipe testou Perseus treinando GPT-3, três outros modelos de idiomas grandes e um modelo de visão computacional. Os resultados mostram que Perseus pode reduzir o consumo de energia do treinamento de IA, mantendo a mesma velocidade de treinamento.
Os pesquisadores dizem que essa abordagem que economiza trabalho é de grande importância para o uso justo da inteligência artificial. Se um país não tiver poder suficiente para executar modelos grandes, pode precisar usar serviços remotos ou só pode executar modelos menores e menos precisos. Essa lacuna pode exacerbar ainda mais a lacuna entre diferentes comunidades.
Este estudo mostra que, ao otimizar os métodos de treinamento de IA, o consumo de energia pode ser reduzido, mantendo a mesma velocidade de treinamento. Isso é de grande importância para economizar energia e reduzir a pegada de carbono.
Este estudo fornece uma solução eficaz para o problema de eficiência energética no campo da inteligência artificial, abre o caminho para o desenvolvimento mais sustentável da inteligência artificial e fornece garantias importantes para a justiça e inclusão da inteligência artificial no futuro. Perseus tem amplas perspectivas de aplicação e deve promover o avanço da tecnologia de inteligência artificial e da aplicação mais ampla.