Los investigadores de la Universidad de Michigan han desarrollado una herramienta de software llamada Perseo que reduce significativamente el consumo de energía de capacitación de modelos de idiomas grandes. Este estudio innovador muestra que al optimizar la asignación de recursos durante el entrenamiento, el consumo de energía puede reducirse en un 30% sin afectar la velocidad de entrenamiento. Esta tecnología no solo tiene importantes beneficios económicos, sino que también puede hacer grandes contribuciones a la causa de protección del medio ambiente.
Un nuevo estudio de la Universidad de Michigan encontró que un método de ahorro de mano de obra para capacitar a modelos de idiomas grandes puede completarse dentro del mismo tiempo, pero el consumo de energía puede reducirse en un 30%. Este enfoque puede ahorrar suficiente energía para alimentar 1.1 millones de viviendas en los Estados Unidos para 2026.
Los investigadores han desarrollado una herramienta de software llamada Perseo que identifica rutas críticas, una serie de subtareas que tardan más tiempo en completarse. Perseo luego ralentiza las velocidades del procesador en caminos no críticos para que todos hagan el trabajo al mismo tiempo, eliminando el consumo de energía innecesario.
El equipo probó Perseo entrenando a GPT-3, otros tres modelos de idiomas grandes y un modelo de visión por computadora. Los resultados muestran que Perseo puede reducir el consumo de energía del entrenamiento de IA mientras mantiene la misma velocidad de entrenamiento.
Los investigadores dicen que este enfoque de ahorro de trabajo es de gran importancia para el uso justo de la inteligencia artificial. Si un país no tiene suficiente energía para ejecutar modelos grandes, es posible que necesite usar servicios remotos o solo puede ejecutar modelos más pequeños y menos precisos. Esta brecha puede exacerbar aún más la brecha entre diferentes comunidades.
Este estudio muestra que al optimizar los métodos de entrenamiento de IA, el consumo de energía puede reducirse mientras se mantiene la misma velocidad de entrenamiento. Esto es de gran importancia para ahorrar energía y reducir la huella de carbono.
Este estudio proporciona una solución efectiva al problema de eficiencia energética en el campo de la inteligencia artificial, allana el camino para el desarrollo más sostenible de la inteligencia artificial y ofrece importantes garantías para la equidad e inclusión de la inteligencia artificial en el futuro. Perseo tiene amplias perspectivas de aplicación y se espera que promueva el avance de la tecnología de inteligencia artificial y la aplicación más amplia.