Недавно Meta объявила, что вычислительная мощность, необходимая для обучения крупномасштабных языковых моделей, в будущем будет расти в геометрической прогрессии. Генеральный директор Meta Цукерберг во время телеконференции сообщил, что объем тренировочных вычислений в Llama 4 будет в десять раз больше, чем в Llama 3. Эта новость подчеркивает высокую стоимость и технические проблемы крупномасштабного обучения языковым моделям, а также отражает продолжающуюся жесткую конкуренцию между технологическими гигантами в области искусственного интеллекта. Meta активно инвестирует в создание соответствующих вычислительных возможностей для удовлетворения будущих потребностей в обучении моделей.
Meta, как разработчик крупномасштабной базовой языковой модели с открытым исходным кодом Llama, считает, что вычислительная мощность, необходимая для обучения моделей, значительно увеличится в будущем. Во вторник, во время отчета Meta о финансовых результатах за второй квартал, Марк Цукерберг сообщил, что для обучения Llama4 потребуется в 10 раз больше вычислительной мощности, чем для обучения Llama3. Он подчеркнул, что даже в этом случае Meta должна развивать способность обучать модели, чтобы не отставать от своих конкурентов.
«Для обучения Llama4 может потребоваться почти в 10 раз больше вычислений, чем для обучения Llama3, и будущие модели будут продолжать требовать больше вычислений», — сказал Цукерберг также отметил, что трудно предсказать тенденцию развития будущих моделей с несколькими поколениями. , но в этот момент лучше заранее создать необходимые возможности, чем опоздать. Ведь запуск нового проекта вывода требует длительного времени на подготовку.
В апреле этого года Meta выпустила Llama3 с 80 миллиардами параметров. На прошлой неделе компания выпустила обновленную версию Llama3.1405B с параметрами, достигающими 405 миллиардов, став крупнейшей моделью Meta с открытым исходным кодом.
Финансовый директор Meta Сьюзан Ли также сообщила, что компания рассматривает различные проекты центров обработки данных и создание возможностей для обучения будущих моделей искусственного интеллекта. По ее словам, Мета ожидает, что инвестиции увеличат капитальные расходы в 2025 году.
Знаете, обучение больших языковых моделей — дело затратное. Во втором квартале 2024 года капитальные затраты Meta увеличились почти на 33% до $8,5 млрд с $6,4 млрд год назад, что обусловлено инвестициями в серверы, центры обработки данных и сетевую инфраструктуру.
Основные моменты:
?Meta Вычислительная мощность, необходимая для обучения Llama4, примерно в 10 раз превышает мощность обучения Llama3.
«Мета» ожидает, что инвестиции в наращивание мощностей увеличат капитальные затраты в 2025 году.
«Обучение больших языковых моделей стоит дорого, и капитальные затраты Meta значительно выросли во втором квартале.
В целом, огромные инвестиции Meta в будущее обучение моделей ИИ демонстрируют ее амбиции в области искусственного интеллекта, но также предвещают все более жесткую конкуренцию в индустрии ИИ и быстрое продвижение развития технологий. Это будет иметь глубокие последствия для всей технологической отрасли.