ダウンコード編集者のレポート: Meta AI は、スマートフォンなどのリソースに制約のあるデバイス向けに設計された、新しく効率的な言語モデルである MobileLLM を発表しました。これは、大規模な言語モデルのスケールに関する従来の理解に挑戦します。パラメーターの数は GPT-4 などの巨大なモデルよりもはるかに少ないですが、ベンチマーク テストでは良好なパフォーマンスを示します。 Meta Reality Labs、PyTorch、および Meta AI Research チームによって完成されたこの研究結果は、2024 年 6 月 27 日に発表され、AI モデルの軽量開発に新しい方向性を提供しました。
MetaAI 研究者らは、スマートフォンやその他のリソースに制約のあるデバイス向けに効率的な言語モデルを設計するための新しいアプローチである MobileLLM を発表しました。 2024 年 6 月 27 日に発表されたこの研究は、効果的な AI モデルの必要な規模に関する仮定に疑問を投げかけています。
この研究チームは、Meta Reality Labs、PyTorch、Meta AI Research (FAIR) のメンバーで構成され、10 億未満のパラメーターを使用したモデルの最適化に重点を置いています。これは、1 兆を超えるパラメーターがあると推定される GPT-4 のようなモデルのほんの一部にすぎません。
MobileLLM の主な革新には次のようなものがあります。
これらの設計の選択により、MobileLLM は、一般的なベンチマーク タスクにおいて、同様のサイズの以前のモデルよりも 2.7% ～ 4.3% 優れたパフォーマンスを発揮できます。これら 1 桁の改善は小さいように見えるかもしれませんが、言語モデル開発の競争の激しい分野における大きな進歩を表しています。
特に、特定の API 呼び出しタスクでは、MobileLLM の 3 億 5,000 万パラメータ バージョンが、より大きな 70 億パラメータの LLaMA-2 モデルと同等の精度を示しました。これは、一部の特定のアプリケーションでは、よりコンパクトなモデルがより少ない計算リソースを使用しながら同様の機能を提供する可能性があることを示唆しています。
MobileLLM の開発は、より効率的な AI モデルへの関心の高まりと同時に行われています。非常に大規模な言語モデルの進歩に鈍化の兆しが見られる中、研究者はよりコンパクトで特殊な設計の可能性をますます模索しています。名前に「LLM」が含まれているにもかかわらず、効率とデバイス展開に重点を置いているため、MobileLLM は一部の研究者が小規模言語モデル (SLM) と呼ぶものと同じカテゴリに分類されます。
MobileLLM はまだ一般公開されていませんが、Meta は事前トレーニング コードをオープンソースにし、他の研究者がその成果を基に構築できるようにしました。テクノロジーが発展するにつれて、より高度な AI 機能が個人用デバイスに提供される可能性がありますが、スケジュールや具体的な機能はまだ不透明です。
MobileLLM の出現は、軽量で効率的な AI モデルが将来の開発において重要なトレンドとなり、より強力な AI 機能をより多くのデバイスにもたらすことを示しています。 Downcodes編集部では今後もこの技術の今後の進歩に注目していきたいと思います。