Исследователи из Университета Мичигана разработали программный инструмент под названием Персей, который значительно снижает потребление энергии обучения крупным языковым моделям. Это прорывное исследование показывает, что путем оптимизации распределения ресурсов во время обучения потребление энергии может быть уменьшено на 30%, не влияя на скорость обучения. Эта технология не только имеет важные экономические выгоды, но и может внести большой вклад в причину защиты окружающей среды.
Новое исследование, проведенное Университетом Мичигана, показало, что метод экономящего труда для обучения крупных языковых моделей может быть завершен в то же время, но потребление энергии может быть сокращено на 30%. Этот подход может сэкономить достаточно энергии для владения 1,1 млн. Домов США к 2026 году.
Исследователи разработали программный инструмент под названием Perseus, который идентифицирует критические пути, серию подзадач, которые занимают самое длительное время. Затем Персей замедляет скорость процессора на некритических путях, так что все они выполняют работу одновременно, устраняя ненужное энергопотребление.
Команда проверила Персей, обучая GPT-3, три других крупных языковых моделях и модель компьютерного зрения. Результаты показывают, что Персей может снизить потребление энергии при обучении ИИ, сохраняя при этом такую же скорость обучения.
Исследователи говорят, что этот трудовой подход имеет большое значение для справедливого использования искусственного интеллекта. Если в стране не хватает мощности для запуска больших моделей, им может потребоваться использование удаленных услуг или может работать только меньше, менее точные модели. Этот разрыв может дополнительно усугубить разрыв между различными сообществами.
Это исследование показывает, что, оптимизируя методы обучения искусственного интеллекта, потребление энергии может быть уменьшено при сохранении той же скорости обучения. Это имеет большое значение для экономии энергии и уменьшения углеродного следа.
Это исследование обеспечивает эффективное решение проблемы энергоэффективности в области искусственного интеллекта, прокладывает путь для более устойчивого развития искусственного интеллекта и предоставляет важные гарантии для справедливости и инклюзивности искусственного интеллекта в будущем. Персей имеет широкие перспективы применения и, как ожидается, будет способствовать развитию технологий искусственного интеллекта и более широкого применения.