Недавно Meta объявила, что построит два суперкластера, оснащенных 24 000 графическими процессорами H100, для обучения своей большой языковой модели следующего поколения Llama-3. В проекте используется усовершенствованная сеть RoCEv2 и сетевое решение NFS/FUSE от Tectonic/Hammerspace для повышения эффективности обучения и скорости доступа к данным. Ожидается, что Llama-3 появится в сети в конце апреля или середине мая и может представлять собой мультимодальную модель. Meta также планирует продолжать открывать исходный код модели. Этот шаг подчеркивает решимость и силу Meta продолжать инвестировать в область крупных моделей искусственного интеллекта, и ее будущее развитие заслуживает внимания.
Компания Meta разместила на своем официальном сайте два 24K кластера H100GPU, специально разработанных для обучения большой модели Llama-3. Llama-3 использует сеть RoCEv2 и сетевое хранилище NFS/FUSE от Tectonic/Hammerspace. Ожидается, что он появится в сети в конце апреля или середине мая, возможно, как мультимодальная модель и по-прежнему будет иметь открытый исходный код. К концу 2024 года Meta планирует иметь 600 000 вычислительных мощностей H100.Крупномасштабные инвестиции Meta в вычислительные мощности предвещают дальнейшее развитие обучения моделей ИИ в будущем, и выпуск Llama-3 также стоит ожидать. Его мультимодальные характеристики и стратегия открытого исходного кода окажут глубокое влияние на ИИ. поле. Амбициозный план Meta на 600 000 H100 демонстрирует ее сильную силу и направление будущего развития в области искусственного интеллекта.