MiniMax は、テキスト大型モデル MiniMax-Text-01 とビジュアル マルチモーダル大型モデル MiniMax-VL-01 を含む、新しいオープンソース モデル シリーズ MiniMax-01 を 2025 年 1 月 15 日にリリースしました。この一連のモデル パラメータは、1 回のアクティベーションで 4560 億に達し、アーキテクチャを大胆に革新し、リニア アテンション メカニズムを初めて大規模に適用し、従来の Transformer の制限を打ち破りました。最大 400 万のトークンのコンテキストを効率的に処理でき、既存のモデルを大幅に上回っています。 MiniMax-01シリーズは、海外のトップモデルと同等の性能を持ち、長文処理において大きな優位性を発揮し、その効率的な処理能力と低価格により、商用アプリケーションにおいて極めて高い競争力を発揮します。
MiniMax は、2025 年 1 月 15 日に新シリーズのモデル MiniMax-01 のオープンソースを発表しました。このシリーズには、基本言語の大型モデル MiniMax-Text-01 とビジュアル マルチモーダルの大型モデル MiniMax-VL-01 が含まれています。 MiniMax-01 シリーズは、アーキテクチャに大胆な革新を加え、リニア アテンション メカニズムを初めて大規模に実装し、従来の Transformer アーキテクチャの制限を打ち破りました。パラメータ量は 4,560 億、1 回のアクティベーションは 459 億であり、その総合的なパフォーマンスは海外の上位モデルに匹敵し、最大 400 万トークンのコンテキストを効率的に処理できます。この長さは GPT-4o の 32 倍です。そしてクロード-3.5-ソネットを20回。
MiniMax は、2025 年がエージェントの急速な開発にとって重要な年になると考えています。単一エージェント システムであっても、マルチエージェント システムであっても、継続的なメモリと大量の通信をサポートするには、より長いコンテキストが必要です。 MiniMax-01 シリーズ モデルの発売は、まさにこの需要に応え、複雑なエージェントの基本機能を確立するための第一歩を踏み出すためのものです。
MiniMax は、アーキテクチャの革新、効率の最適化、統合されたクラスター トレーニングとプッシュ設計のおかげで、業界最低価格帯でテキストおよびマルチモーダル理解 API サービスを提供できます。標準価格は、入力トークン 1 元/100 万トークン、出力トークン 8 です。元/1000 トークン。 MiniMaxオープンプラットフォームと海外版を開発者向けに提供開始しました。
MiniMax-01 シリーズ モデルは GitHub でオープンソース化されており、継続的に更新されます。業界の主流のテキストおよびマルチモーダル理解評価において、MiniMax-01 シリーズは、ほとんどのタスクにおいて、国際的に認められた先進モデル GPT-4o-1120 および Claude-3.5-Sonnet-1022 と同等でした。特に長いテキスト タスクの場合、Google の Gemini モデルと比較して、MiniMax-Text-01 は入力長が増加してもパフォーマンスの低下が最も遅く、Gemini よりも大幅に優れています。
MiniMax のモデルは、長い入力を処理する場合に非常に効率的であり、線形の複雑さに近づきます。その構造設計では、8 レイヤーごとに 7 レイヤーが Lightning Attendance に基づくリニア アテンションを使用し、1 レイヤーが従来の SoftMax アテンションを使用します。 MiniMax は、スケーリング則、MoE との組み合わせ、構造設計、トレーニングの最適化、推論の最適化を包括的に考慮し、トレーニングと推論のシステムを再構築しました。これには、より効率的な MoE 全対全通信の最適化、より長いシーケンスの最適化、推論レベルでの線形アテンションの効率的なカーネル実装が含まれます。
MiniMax-01シリーズは、ほとんどの学術試験において、海外の1次試験と同等の成績を収めています。 400 万個の Needle-In-A-Haystack 検索タスクにおける優れたパフォーマンスなど、長いコンテキストの評価セットで大幅に優れています。 MiniMax は学術データ セットに加えて、実際のデータに基づいたアシスタント シナリオ テスト セットも構築しており、MiniMax-Text-01 はこのシナリオで優れたパフォーマンスを発揮しました。マルチモーダル理解テストセットでも、MiniMax-VL-01が先行しています。
オープンソースのアドレス: https://github.com/MiniMax-AI
MiniMax-01 シリーズ モデルのオープンソースは、AI 分野の開発に新たな活力を注入し、長文処理とマルチモーダル理解における画期的な進歩により、エージェント テクノロジーと関連アプリケーションの急速な開発が促進されます。今後も MiniMax のさらなる革新と画期的な進歩を期待しています。