أصدرت MiniMax سلسلة نماذج جديدة مفتوحة المصدر MiniMax-01 في 15 يناير 2025، بما في ذلك النموذج النصي الكبير MiniMax-Text-01 والنموذج المرئي الكبير متعدد الوسائط MiniMax-VL-01. تصل هذه السلسلة من معلمات النموذج إلى 456 مليارًا، مع تنشيط واحد قدره 45.9 مليارًا، وهي تبتكر بجرأة في الهندسة المعمارية وتطبق آلية الانتباه الخطي على نطاق واسع لأول مرة، مخترقة قيود المحولات التقليدية وقادرة على ذلك. معالجة سياقات بكفاءة تصل إلى 4 ملايين رمز، وهو ما يفوق النماذج الحالية بشكل كبير. تتساوى سلسلة MiniMax-01 مع أفضل الطرازات الأجنبية من حيث الأداء وتُظهر مزايا كبيرة في معالجة النصوص الطويلة، كما أن إمكانات المعالجة الفعالة والسعر المنخفض تجعلها قادرة على المنافسة للغاية في التطبيقات التجارية.
أعلنت MiniMax عن المصدر المفتوح لسلسلتها الجديدة من الطرازات MiniMax-01 في 15 يناير 2025. تتضمن السلسلة النموذج الكبير ذو اللغة الأساسية MiniMax-Text-01 والنموذج الكبير المرئي متعدد الوسائط MiniMax-VL-01. حققت سلسلة MiniMax-01 ابتكارات جريئة في الهندسة المعمارية، حيث نفذت آلية انتباه خطية على نطاق واسع لأول مرة، وكسرت قيود بنية المحولات التقليدية. يصل حجم المعلمات الخاص بها إلى 456 مليارًا، ويبلغ التنشيط الفردي 45.9 مليارًا، ويمكن مقارنته بأدائه الشامل مع أفضل النماذج الخارجية، ويمكنه التعامل بكفاءة مع سياقات تصل إلى 4 ملايين رمز مميز، وهذا الطول أكبر بـ 32 مرة من GPT-4o وكلود 3.5 السوناتة 20 مرة.
تعتقد MiniMax أن عام 2025 سيكون عامًا حاسمًا للتطور السريع للعملاء، سواء كان ذلك نظام وكيل واحد أو نظام متعدد الوكلاء، هناك حاجة إلى سياق أطول لدعم الذاكرة المستمرة وكميات كبيرة من الاتصالات. إن إطلاق سلسلة طرازات MiniMax-01 يهدف على وجه التحديد إلى تلبية هذا الطلب واتخاذ الخطوة الأولى في إنشاء القدرات الأساسية للعملاء المعقدين.
بفضل الابتكار المعماري وتحسين الكفاءة والتدريب المجمع المتكامل وتصميم الدفع، يمكن لـ MiniMax توفير خدمات واجهة برمجة التطبيقات (API) للنص ومتعددة الوسائط بأقل نطاق سعري في الصناعة. التسعير القياسي هو رمز الإدخال 1 يوان/مليون رمز مميز ورمز الإخراج 8 يوان / مائة . تم إطلاق منصة MiniMax المفتوحة والإصدار الخارجي ليتمكن المطورون من تجربتها.
تم فتح نماذج سلسلة MiniMax-01 على GitHub وسيتم تحديثها باستمرار. في تقييمات الفهم النصي ومتعدد الوسائط السائدة في الصناعة، ربطت سلسلة MiniMax-01 الطرازين المتقدمين المعترف بهما عالميًا GPT-4o-1120 وClaude-3.5-Sonnet-1022 في معظم المهام. خاصة بالنسبة للمهام النصية الطويلة، مقارنة بنموذج Gemini من Google، يتميز MiniMax-Text-01 بأبطأ تدهور في الأداء مع زيادة طول الإدخال، وهو أفضل بكثير من Gemini.
يعتبر نموذج MiniMax فعالاً للغاية عند معالجة المدخلات الطويلة، ويقترب من التعقيد الخطي. في تصميمها الهيكلي، تستخدم 7 من كل 8 طبقات اهتمامًا خطيًا يعتمد على Lightning Attention، وطبقة واحدة تستخدم اهتمام SoftMax التقليدي. هذه هي المرة الأولى في الصناعة التي يتم فيها توسيع آلية الاهتمام الخطي إلى مستوى النموذج التجاري، وقد نظرت MiniMax بشكل شامل في قانون القياس، بالاشتراك مع وزارة التعليم، والتصميم الهيكلي، وتحسين التدريب، وتحسين الاستدلال، وأعادت بناء نظام التدريب والاستدلال. بما في ذلك تحسين الاتصالات الشاملة الأكثر كفاءة لوزارة التعليم، وتحسين التسلسل الأطول، وتنفيذ Kernel الفعال للانتباه الخطي على مستوى الاستدلال.
في معظم الاختبارات الأكاديمية، حققت سلسلة MiniMax-01 نتائج مماثلة لنتائج المستوى الأول في الخارج. إنها متقدمة بشكل ملحوظ في مجموعة تقييم السياق الطويل، مثل أدائها الممتاز في مهمة استرجاع Needle-In-A-Haystack التي يبلغ عددها 4 ملايين. بالإضافة إلى مجموعات البيانات الأكاديمية، قامت MiniMax أيضًا ببناء مجموعة اختبار سيناريو مساعد استنادًا إلى بيانات حقيقية، وكان أداء MiniMax-Text-01 متميزًا في هذا السيناريو. وفي مجموعة اختبار الفهم متعدد الوسائط، تتقدم MiniMax-VL-01 أيضًا.
عنوان مفتوح المصدر: https://github.com/MiniMax-AI
لقد ضخ المصدر المفتوح لنماذج سلسلة MiniMax-01 حيوية جديدة في تطوير مجال الذكاء الاصطناعي، وستعزز اختراقاته في معالجة النصوص الطويلة والفهم متعدد الوسائط التطور السريع لتكنولوجيا الوكيل والتطبيقات ذات الصلة. ونحن نتطلع إلى المزيد من الابتكارات والاختراقات من MiniMax في المستقبل.