Apple недавно опубликовала результаты исследования, которые значительно повышают эффективность больших языковых моделей на устройствах с ограниченным объемом памяти. В этом исследовании параметры модели умело сохраняются во флэш-памяти и при необходимости загружаются в DRAM, эффективно решая проблему «узких мест» в памяти и добиваясь огромного скачка в скорости вывода посредством ряда стратегий оптимизации. Этот технологический прорыв открывает путь к применению больших языковых моделей в средах с ограниченными ресурсами, таких как мобильные устройства и встроенные системы, и имеет важное практическое значение.
Последние исследования Apple показывают, что когда память устройства ограничена, за счет хранения параметров модели во флэш-памяти и загрузки их в DRAM по требованию во время вывода эффективность работы больших языковых моделей успешно повышается, а скорость вывода увеличивается в 25 раз. . Этот метод оптимизирует модель стоимости вывода, уменьшает объем передачи данных, а также вводит стратегии управления окнами и технологию объединения строк и столбцов, что позволяет запускать модели, в два раза превышающие доступную емкость DRAM, на устройствах с ограниченным объемом памяти. По сравнению с методом простой загрузки скорость вывода процессора и графического процессора увеличивается в 4–5 раз и 20–25 раз соответственно. В то же время он сочетает в себе разреженную осведомленность, контекстно-адаптируемую загрузку и аппаратно-ориентированный дизайн для облегчения загрузки. вывод больших языковых моделей на устройствах с ограниченной памятью. Откройте новые возможности. Подробный документ можно найти [здесь](https://arxiv.org/pdf/2312.11514.pdf).Этот результат исследования не только обеспечивает значительное улучшение скорости, но, что более важно, обеспечивает возможность применения больших языковых моделей на более широком спектре устройств, что указывает на то, что технология искусственного интеллекта станет более популярной и удобной в будущем. Это нововведение от Apple открывает новое направление развития области искусственного интеллекта.