Meta は最近、大規模な言語モデルのトレーニングに必要な計算能力が将来的に飛躍的に増加すると発表しました。 Meta CEOのザッカーバーグ氏は決算会見で、ラマ4のトレーニング計算量がラマ3の10倍になることを明らかにした。このニュースは、大規模な言語モデルのトレーニングの高コストと技術的課題を浮き彫りにするとともに、AI 分野におけるテクノロジー大手間の継続的な熾烈な競争を反映しています。 Meta は、将来のモデル トレーニングのニーズを満たすために、対応するコンピューティング機能の構築に積極的に投資しています。
Meta は、大規模なオープンソースの基本言語モデル Llama の開発者として、モデルのトレーニングに必要なコンピューティング能力が将来的に大幅に増加すると考えています。火曜日、Meta の第 2 四半期決算説明会でマーク ザッカーバーグ氏は、Llama4 のトレーニングには Llama3 のトレーニングの 10 倍の計算能力が必要になることを明らかにしました。それでも、Meta は競合他社に後れをとらないようにモデルをトレーニングする能力を構築する必要があると彼は強調しました。
ザッカーバーグ氏は、「Llama4のトレーニングには、Llama3のトレーニングに必要な計算量のほぼ10倍が必要になる可能性があり、今後のモデルではさらに多くの計算量が必要になるだろう」と述べ、将来の多世代モデルの開発傾向を予測するのは難しいとも述べた。ただし、現時点では、遅すぎるよりも、事前に必要な機能を構築する方が良いでしょう。新しい推論プロジェクトを開始するには、長い準備時間が必要です。
今年 4 月、Meta は 800 億のパラメータを備えた Llama3 をリリースしました。同社は先週、パラメータ数が4,050億に達するアップグレード版Llama3.1405Bをリリースし、Meta最大のオープンソースモデルとなった。
Metaの最高財務責任者（CFO）スーザン・リー氏も、同社はさまざまなデータセンタープロジェクトを検討し、将来のAIモデルをトレーニングするための機能を構築していると述べた。メタ氏は、この投資により2025年に設備投資が増加すると予想していると述べた。
ご存知のとおり、大規模な言語モデルのトレーニングにはコストがかかります。 2024 年第 2 四半期のメタの設備投資は、サーバー、データセンター、ネットワーク インフラストラクチャへの投資により、前年同期の 64 億ドルから 33% 近く増加して 85 億ドルとなりました。
ハイライト:
?メタ Llama4 のトレーニングに必要な計算能力は、Llama3 のトレーニングの約 10 倍です。
?メタは、能力構築への投資により2025年に設備投資が増加すると予想しています。
?大規模な言語モデルのトレーニングには費用がかかり、Meta の設備投資は第 2 四半期に大幅に増加しました。
全体的に見て、将来の AI モデルのトレーニングに対する Meta の巨額投資は、人工知能分野における同社の野心を示していますが、同時に AI 業界における競争の激化と技術開発の急速な進歩の予兆でもあります。 これはテクノロジー業界全体に重大な影響を与えるでしょう。