MiniMax เปิดตัวซีรีส์โอเพ่นซอร์สใหม่ MiniMax-01 เมื่อวันที่ 15 มกราคม 2025 รวมถึงรุ่นข้อความขนาดใหญ่ MiniMax-Text-01 และรุ่นขนาดใหญ่แบบ multi-modal ที่มองเห็นได้ MiniMax-VL-01 พารามิเตอร์โมเดลชุดนี้สูงถึง 456 พันล้าน ด้วยการเปิดใช้งานครั้งเดียวที่ 45.9 พันล้าน โดยถือเป็นนวัตกรรมทางสถาปัตยกรรมอย่างกล้าหาญ และใช้กลไกการสนใจเชิงเส้นในขนาดใหญ่เป็นครั้งแรก ซึ่งทำลายข้อจำกัดของ Transformer แบบดั้งเดิมและมีความสามารถ ของการประมวลผลบริบทอย่างมีประสิทธิภาพสูงถึง 4 ล้านโทเค็น ซึ่งเหนือกว่ารุ่นที่มีอยู่อย่างมาก ซีรีส์ MiniMax-01 ทัดเทียมกับรุ่นชั้นนำในต่างประเทศในแง่ของประสิทธิภาพ และแสดงให้เห็นถึงข้อได้เปรียบที่สำคัญในการประมวลผลข้อความแบบยาว ความสามารถในการประมวลผลที่มีประสิทธิภาพและราคาต่ำทำให้มีการแข่งขันสูงในการใช้งานเชิงพาณิชย์
MiniMax ประกาศเปิดตัวโอเพ่นซอร์สของซีรีส์ใหม่ของรุ่น MiniMax-01 เมื่อวันที่ 15 มกราคม 2025 ซีรีส์นี้ประกอบด้วยรุ่นพื้นฐานขนาดใหญ่ MiniMax-Text-01 และรุ่นขนาดใหญ่แบบมัลติโมดัลที่มองเห็นได้หลายรูปแบบ MiniMax-VL-01 ซีรีส์ MiniMax-01 ได้สร้างนวัตกรรมที่โดดเด่นในด้านสถาปัตยกรรม โดยใช้กลไกการสนใจเชิงเส้นในวงกว้างเป็นครั้งแรก ซึ่งทำลายข้อจำกัดของสถาปัตยกรรม Transformer แบบดั้งเดิม ปริมาณพารามิเตอร์สูงถึง 456 พันล้าน และการเปิดใช้งานครั้งเดียวคือ 45.9 พันล้าน ประสิทธิภาพเทียบเท่ากับรุ่นชั้นนำในต่างประเทศ และสามารถรองรับบริบทได้อย่างมีประสิทธิภาพสูงสุด 4 ล้านโทเค็น ความยาวนี้คือ 32 เท่าของ GPT-4o และ Claude-3.5-Sonnet 20 ครั้ง
MiniMax เชื่อว่าปี 2025 จะเป็นปีที่สำคัญสำหรับการพัฒนาอย่างรวดเร็วของ Agents ไม่ว่าจะเป็นระบบ single-Agent หรือ multi-Agent จำเป็นต้องมีบริบทที่ยาวขึ้นเพื่อรองรับหน่วยความจำต่อเนื่องและการสื่อสารจำนวนมาก การเปิดตัวรุ่น MiniMax-01 ซีรีส์มีขึ้นเพื่อตอบสนองความต้องการนี้และก้าวแรกในการสร้างความสามารถพื้นฐานของ Agent ที่ซับซ้อน
ด้วยนวัตกรรมทางสถาปัตยกรรม การเพิ่มประสิทธิภาพ และการฝึกอบรมคลัสเตอร์แบบผสานรวมและการออกแบบพุช MiniMax จึงสามารถให้บริการ API ความเข้าใจข้อความและหลายรูปแบบได้ในราคาที่ต่ำที่สุดในอุตสาหกรรม ราคามาตรฐานคือโทเค็นอินพุต 1 หยวน/ล้านโทเค็น และโทเค็นเอาต์พุต 8 หยวน/ร้อย 10,000 โทเค็น แพลตฟอร์มเปิด MiniMax และเวอร์ชันต่างประเทศได้เปิดตัวให้นักพัฒนาได้สัมผัสแล้ว
โมเดลซีรีส์ MiniMax-01 ได้รับการเปิดซอร์สบน GitHub และจะได้รับการอัปเดตอย่างต่อเนื่อง ในข้อความกระแสหลักและการประเมินความเข้าใจหลายรูปแบบของอุตสาหกรรม ซีรีส์ MiniMax-01 ได้เชื่อมโยงกับรุ่นขั้นสูงที่ได้รับการยอมรับในระดับสากล GPT-4o-1120 และ Claude-3.5-Sonnet-1022 ในงานส่วนใหญ่ โดยเฉพาะสำหรับงานข้อความยาว เมื่อเปรียบเทียบกับรุ่น Gemini ของ Google แล้ว MiniMax-Text-01 มีประสิทธิภาพลดลงช้าที่สุดเมื่อความยาวอินพุตเพิ่มขึ้น ซึ่งดีกว่า Gemini อย่างมาก
แบบจำลองของ MiniMax มีประสิทธิภาพอย่างมากเมื่อประมวลผลอินพุตขนาดยาว ซึ่งเข้าใกล้ความซับซ้อนเชิงเส้น ในการออกแบบโครงสร้าง 7 ใน 8 เลเยอร์ใช้ความสนใจเชิงเส้นโดยยึดตาม Lightning Attention และ 1 เลเยอร์ใช้ความสนใจ SoftMax แบบดั้งเดิม นี่เป็นครั้งแรกในอุตสาหกรรมที่กลไกความสนใจเชิงเส้นได้รับการขยายไปสู่ระดับโมเดลเชิงพาณิชย์ MiniMax ได้พิจารณากฎการปรับขนาดอย่างครอบคลุม ผสมผสานกับ MoE การออกแบบโครงสร้าง การเพิ่มประสิทธิภาพการฝึกอบรม และการเพิ่มประสิทธิภาพการอนุมาน และสร้างระบบการฝึกอบรมและการอนุมานขึ้นใหม่ รวมถึงการเพิ่มประสิทธิภาพการสื่อสาร MoE All-to-all ที่มีประสิทธิภาพมากขึ้น การเพิ่มประสิทธิภาพลำดับที่ยาวขึ้น และการใช้งานเคอร์เนลที่มีประสิทธิภาพของความสนใจเชิงเส้นในระดับอนุมาน
ในการทดสอบทางวิชาการส่วนใหญ่ ซีรีส์ MiniMax-01 ได้รับผลลัพธ์ที่เทียบเท่ากับการทดสอบระดับแรกในต่างประเทศ มีความก้าวหน้าอย่างมากในชุดการประเมินบริบทแบบยาว เช่น ประสิทธิภาพที่ยอดเยี่ยมในงานดึงกองฟางแบบ Needle-In-A-Haystack จำนวน 4 ล้านชุด นอกเหนือจากชุดข้อมูลทางวิชาการแล้ว MiniMax ยังสร้างชุดทดสอบสถานการณ์ผู้ช่วยโดยอิงตามข้อมูลจริง และ MiniMax-Text-01 ก็ดำเนินการได้อย่างโดดเด่นในสถานการณ์นี้ ในชุดทดสอบความเข้าใจแบบหลายโมดัล MiniMax-VL-01 ก็นำหน้าเช่นกัน
ที่อยู่โอเพ่นซอร์ส: https://github.com/MiniMax-AI
โอเพ่นซอร์สของรุ่นซีรีส์ MiniMax-01 ได้เพิ่มพลังใหม่ให้กับการพัฒนาด้าน AI ความก้าวหน้าในการประมวลผลข้อความแบบยาวและความเข้าใจหลายรูปแบบจะส่งเสริมการพัฒนาอย่างรวดเร็วของเทคโนโลยีตัวแทนและแอปพลิเคชันที่เกี่ยวข้อง เราหวังว่าจะมีนวัตกรรมและความก้าวหน้าเพิ่มเติมจาก MiniMax ในอนาคต