Meta недавно объявила о выпуске последнего члена своей серии Llama — Llama3.370B. Ахмад Аль-Дахле, вице-президент Meta по генеративному искусственному интеллекту, сообщил новость о значительном сокращении.
Аль-Дале сказал, что, используя новейшую технологию постобучения, Llama3.370B не только повышает производительность, но и снижает эксплуатационные расходы. Согласно результатам тестов, опубликованных Meta, Llama3.370B превзошла Gemini1.5Pro от Google, GPT-4 от OpenAI и недавно выпущенную Nova Pro от Amazon во многих областях, особенно в тесте MMLU, который оценивает способность модели понимать язык.
Модель теперь доступна для загрузки из таких источников, как Hugging Face и официальная платформа Llama. Это шаг Meta, целью которого является доминирование в области искусственного интеллекта с помощью «открытых» моделей. Модель Llama от Meta может применяться к различным сценариям и поддерживает коммерциализацию, хотя Meta установила ограничения на использование для некоторых разработчиков, требуя от платформ с более чем 700 миллионами пользователей в месяц подавать заявки на получение специальных лицензий. Несмотря на это, модель Llama была загружена более 650 миллионов раз, что свидетельствует о ее широкой популярности среди разработчиков ИИ по всему миру.
Чтобы поддержать крупномасштабное обучение моделям ИИ в будущем, Meta вкладывает значительные средства в вычислительную инфраструктуру. Недавно компания объявила, что построит центр обработки данных искусственного интеллекта стоимостью 10 миллиардов долларов в Луизиане, который на сегодняшний день является крупнейшим центром обработки данных искусственного интеллекта Meta. Цукерберг упомянул во время телеконференции, что для обучения модели Llama4 следующего поколения потребуется вычислительная мощность в 10 раз больше, чем у Llama3. В настоящее время Meta приобрела более 100 000 кластеров графических процессоров Nvidia, что соответствует ресурсам конкурентов, таких как xAI.
Поскольку стоимость обучения генеративных моделей искусственного интеллекта продолжает расти, капитальные затраты Meta также демонстрируют тенденцию к увеличению. Капитальные затраты во втором квартале 2024 года увеличились почти на 33% до 8,5 миллиардов долларов США. Этот рост обусловлен главным образом постоянными инвестициями Meta в серверы, центры обработки данных и сетевую инфраструктуру.