Meta は最近、Llama シリーズの最新メンバーである Llama3.370B の発売を発表しました。 Meta の生成 AI 担当副社長であるアフマド・アルダール氏は、大幅に削減されたというニュースを発表しました。
Al-Dahle 氏は、最新のポストトレーニング技術を活用することで、Llama3.370B はパフォーマンスを向上させるだけでなく、運用コストも削減すると述べました。 Metaが発表したベンチマークテストの結果によると、Llama3.370Bは多くの分野で、特にモデルの言語理解能力を評価するMMLUテストにおいて、GoogleのGemini1.5Pro、OpenAIのGPT-4、Amazonが新たにリリースしたNova Proを上回ったという。
このモデルは現在、Hugging Face や Llama の公式プラットフォームなどのソースからダウンロードできるようになりました。これは、「オープン」モデルで AI 分野を支配することを目指す Meta の動きです。 Meta の Llama モデルはさまざまなシナリオに適用でき、商用化をサポートします。ただし、Meta は一部の開発者に対して使用制限を設けており、月間ユーザー数が 7 億人を超えるプラットフォームには特別なライセンスの申請が必要です。それにもかかわらず、Llama モデルは 6 億 5,000 万回以上ダウンロードされており、世界中の AI 開発者の間で広く人気があることがわかります。
将来的に大規模な AI モデルのトレーニングをサポートするために、Meta はコンピューティング インフラストラクチャに多額の投資を行っています。同社は最近、ルイジアナ州に 100 億ドルをかけて AI データセンターを建設すると発表しました。これは Meta のこれまでで最大の AI データセンターです。ザッカーバーグ氏は決算会見で、次世代のLlama4モデルをトレーニングするにはLlama3の10倍の計算能力が必要になると述べた。 Meta は現在、xAI などの競合他社のリソースに匹敵する 100,000 個を超える Nvidia GPU クラスターを購入しています。
生成 AI モデルのトレーニングのコストが上昇し続ける中、Meta の設備投資も増加傾向を示しており、2024 年第 2 四半期の設備投資は 33% 近く増加して 85 億米ドルとなりました。この成長は主に、メタ社のサーバー、データセンター、ネットワークインフラストラクチャへの継続的な投資によるものです。