Microsoft は最近、軽量推論モデルとハイブリッド タスクをそれぞれターゲットとした 3 つの強力な Phi-3.5 AI モデル、つまり Phi-3.5-mini-instruct、Phi-3.5-MoE-instruct、および Phi-3.5-vision-instruct をリリースしました。最適化されています。これは、多言語およびマルチモーダル人工知能の分野における Microsoft の大きな進歩を示し、この分野での主導的地位をさらに強固なものとします。 3 つのモデルはすべて MIT オープンソース ライセンスの下でリリースされており、開発者に幅広いアプリケーションの可能性を提供します。
Microsoft は、3 つの新しい Phi-3.5 モデルのリリースを発表し、多言語およびマルチモーダル人工知能の開発における主導的地位をさらに強化しました。 3 つの新しいモデルは、Phi-3.5-mini-instruct、-3.5-MoE-instruct、および Phi-3.5-vision-instruct で、それぞれ異なるアプリケーション シナリオを対象としています。
Phi-3.5Mini Instruct モデルは、3 億 8,000 万のパラメーターを備えた軽量 AI モデルであり、コンピューティング能力が限られている環境に非常に適しています。 128k のコンテキスト長をサポートし、命令実行機能に特化して最適化されているため、コード生成、数学的問題解決、論理的推論などのタスクに適しています。このモデルは、小型であるにもかかわらず、多言語および複数ターンの対話タスクにおいて優れた競争力を示し、同クラスの他のモデルを上回っています。
入り口: https://huggingface.co/microsoft/Phi-3.5-mini-instruct
「エキスパート ハイブリッド」モデルである Phi-3.5MoE モデルは、それぞれが特定のタスクに焦点を当てた、いくつかの異なるタイプのモデルを組み合わせています。 419 億個のパラメーターがあり、128k のコンテキスト長をサポートしているため、さまざまな推論タスクで強力なパフォーマンスを発揮できます。このモデルは、コード、数学、多言語理解において非常に優れたパフォーマンスを発揮し、MMLU (Massive Multi-Task Language Understanding) mini で OpenAI の GPT-4o を超えるなど、一部のベンチマークではより大きなモデルをも上回っています。
入り口: https://huggingface.co/microsoft/Phi-3.5-MoE-instruct
Phi-3.5Vision Instruct モデルは、テキストと画像の処理機能を統合した高度なマルチモーダル AI モデルで、画像理解、光学式文字認識、チャートと表の分析、ビデオ要約などのタスクに適しています。このモデルは 128k のコンテキスト長もサポートしており、複雑なマルチフレーム ビジョン タスクを処理できます。
入り口: https://huggingface.co/microsoft/Phi-3.5-vision-instruct
これら 3 つのモデルをトレーニングするために、Microsoft は大規模なデータ処理を実施しました。 Mini Instruct モデルは 3.4 兆個のマーカーを使用し、512 個の H100-80G GPU で 10 日間トレーニングされました。Vision Instruct モデルは 5,000 億個のマーカーを使用し、6 日間トレーニングされました。MoE モデルは 23 日間で 4.9 兆個のマーカーが使用されました。トレーニング用に。
これら 3 つの Phi-3.5 モデルはすべて MIT オープン ソース ライセンスの下でリリースされており、開発者はこれらのソフトウェアを自由に使用、変更、配布できることは言及する価値があります。これは、オープンソース コミュニティに対する Microsoft のサポートを反映するだけでなく、より多くの開発者が最先端の AI 機能をアプリケーションに統合できるようになります。
ハイライト:
Microsoft は、軽量推論、ハイブリッド エキスパート、マルチモーダル タスクをターゲットとした 3 つの新しい AI モデルを発表しました。
?Phi-3.5MoEはベンチマークテストでGPT-4o miniを上回り、良好なパフォーマンスを発揮します。
? 3 つのモデルはすべて MIT オープン ソース ライセンスに基づいてライセンスされており、開発者は自由に使用および変更できます。
全体として、Microsoft がリリースした 3 つの Phi-3.5 モデルは、強力なパフォーマンス、幅広いアプリケーション シナリオ、オープン ライセンスを備えており、間違いなく人工知能の分野に大きな影響を与え、開発者や研究者に強力なツールを提供します。また、将来の AI テクノロジー開発の新たな方向性を予告するものでもあります。