フランスの AI スタートアップ Les Ministraux は、エッジ デバイス向けに設計された 2 つの軽量 AI モデル、Ministral3B と Ministral8B をリリースしました。パラメータはそれぞれ 30 億と 80 億です。これら 2 つのモデルは、命令後のベンチマーク テストで優れたパフォーマンスを発揮し、特に知識、常識、推論、効率の点で同じレベルのモデルを上回り、いくつかの点でパラメータが大きいモデルをも上回り、低レベルの新しいベンチマークを設定しました。パラメータモデル。 Downcodesの編集者が、これら2モデルの性能、特徴、背後にある企業について詳しく説明します。
フランスの AI スタートアップ Les Ministraux は、エッジ デバイス向けに特別に設計された、それぞれ 30 億と 80 億のパラメータを持つ 2 つの新しい軽量モデル、Ministral3B と Ministral8B を発表しました。 2 つのモデルは命令追従ベンチマークで良好なパフォーマンスを示し、Ministral3B が Llama38B および Mistral7B を上回り、Ministral8B はコード機能を除くすべての側面でこれら 2 つのモデルを上回りました。
テスト結果は、Minitral3B および Minitral8B のパフォーマンスが Gemma2 や Llama3.1 などのオープンソース モデルに匹敵することを示しています。 どちらのモデルも最大 128k のコンテキストをサポートし、知識、常識、推論、関数呼び出し、効率の点でサブ 10B パラメーター モデルの新しいベンチマークを設定します。 Ministral8B には、メモリ内推論をより高速かつ効率的に行うためのスライディング ウィンドウ アテンション メカニズムも装備されています。 複雑な AI エージェントのワークフローの管理や、専用のタスク アシスタントの作成など、さまざまなユースケースに合わせて微調整できます。
研究者らは、知識と常識、コーディング、数学、多言語主義などの側面をカバーする、Les Ministraux モデルに関する複数のベンチマーク テストを実施しました。 モデルの事前トレーニング段階では、Minitral3B が Gema22B および Llama3.23B と比較して最高の結果を達成しました。 Llama3.18B および Mistral7B と比較すると、Mistral8B はコーディング機能を除くすべての面で最高のパフォーマンスを発揮しました。 微調整後の命令モデルの段階では、Minitral3B がさまざまなベンチマーク テストで最高の結果を達成し、Wild ベンチでは Minitral8B が Gema29B にわずかに劣るだけでした。
Les Ministraux モデルの開始により、重要なアプリケーションのローカルファースト推論に対するますます多くのユーザーのニーズを満たす、計算効率の高い低遅延ソリューションがユーザーに提供されます。 ユーザーはこれらのモデルを、オンデバイス翻訳、インターネット接続を必要としないスマート アシスタント、自律型ロボットなどのシナリオに適用できます。 Ministral8B の入出力価格は 100 万トークンあたり 0.1 米ドル、Ministral3B の入出力価格は 100 万トークンあたり 0.04 米ドルです。
ミストラルはこれまでにマグネットリンクを通じて複数のモデルをオープンソース化しており、AIコミュニティによって認められているということは注目に値します。 しかし、同社は今年、以前ほどオープンではなくなったため、論争に巻き込まれている。 Microsoft が Mistral の株式の一部を取得して投資するというニュースがあります。これは、Mistral のモデルが Azure AI 上でホストされることを意味します。 Reddit のネチズンは、ミストラルが公式 Web サイトからオープンソースへの取り組みを削除したことを発見しました。 今回発売されたMinistral3BやMinistral8Bなど、同社の一部モデルでも充電が開始されている。
詳細：https://mistral.ai/news/ministraux/
全体として、Minitral3B と Minitral8B の登場は、エッジ コンピューティング AI アプリケーションに強力な選択肢を提供し、その効率的なパフォーマンスと低価格により、大きな競争上の優位性が得られます。 しかし、Mistral の戦略変更は、オープンソース モデルと商用化のバランスについて業界が考えるきっかけにもなりました。 今後とも、Les Ministraux モデルの応用と発展に注目していきます。