Meta は最近、次世代の大規模言語モデル Llama-3 をトレーニングするために、24,000 個の H100 GPU を搭載した 2 つのスーパー クラスターを構築すると発表しました。このプロジェクトでは、高度な RoCEv2 ネットワークと Tectonic/Hammerspace の NFS/FUSE ネットワーク ストレージ ソリューションを使用して、トレーニングの効率とデータ アクセス速度を向上させます。 Llama-3 は 4 月下旬か 5 月中旬にオンラインになる予定で、マルチモーダル モデルになる可能性があります。また、Meta はモデルのオープンソース化を継続する予定です。この動きは、AI大型モデル分野への投資を継続するメタ社の決意と強さを浮き彫りにしており、今後の展開が注目される。
Meta は、大型モデル Llama-3 のトレーニング用に特別に設計された 2 つの 24K H100GPU クラスターを公式 Web サイトでリリースしました。 Llama-3 は、RoCEv2 ネットワークと Tectonic/Hammerspace の NFS/FUSE ネットワーク ストレージを使用します。おそらくマルチモーダル モデルとして、4 月下旬か 5 月中旬にオンライン化される予定であり、オープンソースのままです。 Meta は、2024 年末までに 600,000 の H100 コンピューティング パワーを備えることを計画しています。Meta の大規模なコンピューティング能力への投資は、将来の AI モデルトレーニングのさらなる発展を予告しており、Llama-3 のリリースも期待に値します。そのマルチモーダルな特性とオープンソース戦略は AI に大きな影響を与えるでしょう。フィールド。 Meta の野心的な 600,000 H100 計画は、人工知能の分野におけるその強力な強みと将来の開発の方向性を示しています。