Команда Bytedance Big Model в последнее время сделала серьезный прорыв и успешно разработала новую разреженную модельную архитектуру Ultramem. Эта архитектура инновационно решает проблему доступа к памяти с высокой стоимостью в выводе модели MOE, значительно повышая скорость и эффективность вывода и снижение стоимости вывода. Обеспечивая модельный эффект, Ultramem увеличила скорость вывода в 2-6 раз по сравнению с MOE, а стоимость вывода может быть снижена до 83%, обеспечивая новое решение для эффективного вывода крупных моделей и закладывая основу для строительства Крупные модели.
Bytedance Doubao Big Model Team объявила сегодня, что она успешно разработала новую разреженную модельную архитектуру Ultramememememe чем в MOE. Этот прорывной прогресс открывает новые пути для эффективного вывода крупных моделей.
В предпосылке обеспечения модельного эффекта ультрамменная архитектура успешно решила узкое место доступа к памяти в выводе архитектуры MOE. Экспериментальные результаты показывают, что при тех же параметрах и условиях активации Ultramem не только обладает модельным эффектом лучше, чем MOE, но и увеличивает скорость вывода в 2-6 раз. Кроме того, в рамках общей шкалы размеров пакета стоимость доступа к памяти ультраммии почти эквивалентна стоимости плотной модели с тем же вычислительным объемом, что значительно снижает стоимость вывода.
Исследовательская группа обучила модель Ultramem с масштабом 20 миллионов значений. Этот результат проверяет превосходные характеристики масштабирования ультраммерной архитектуры и закладывает техническую основу для создания миллиардов стоимости или экспертных моделей.
Поскольку шкала крупных моделей продолжает расширяться, стоимость вывода и скорость стали ключевыми факторами, которые ограничивают их применение. Хотя архитектура MOE реализовала вычислительную отделку от параметров, его высокий спрос на память во время вывода приводит к увеличению задержки. Предложение архитектуры Ultramem эффективно решает эту проблему и предоставляет новый технический выбор для крупномасштабного применения крупных моделей.
Успешная разработка ультраммерной архитектуры знаменует собой значительный прогресс в технологии вывода Big Model, обеспечивает сильную техническую поддержку для широкого применения крупных моделей в будущем, а также указывает на то, что эпоха Big Model собирается прибыть. Его превосходная производительность и экономическая эффективность будут стимулировать применение и разработку крупных моделей в большем количестве областей.