MiniMax는 텍스트 대형 모델 MiniMax-Text-01과 시각적 멀티모달 대형 모델 MiniMax-VL-01을 포함하여 2025년 1월 15일 새로운 오픈 소스 모델 시리즈 MiniMax-01을 출시했습니다. 이 일련의 모델 매개변수는 최대 4,560억 개에 도달하고 단일 활성화는 459억 개에 이릅니다. 이는 아키텍처를 과감하게 혁신하고 최초로 선형 주의 메커니즘을 대규모로 적용하여 기존 Transformer의 한계를 뛰어넘고 가능한 기능을 제공합니다. 기존 모델보다 훨씬 앞서 최대 400만 개의 토큰에 대한 컨텍스트를 효율적으로 처리합니다. MiniMax-01 시리즈는 성능 면에서 해외 상위 모델과 동등하며, 긴 텍스트 처리에 있어서 상당한 이점을 보여줍니다. 효율적인 처리 능력과 저렴한 가격으로 인해 상업용 애플리케이션에서 매우 경쟁력이 있습니다.
MiniMax는 2025년 1월 15일 새로운 모델 MiniMax-01 시리즈의 오픈 소스를 발표했습니다. 이 시리즈에는 기본 언어 대형 모델 MiniMax-Text-01과 시각적 다중 모드 대형 모델 MiniMax-VL-01이 포함되어 있습니다. MiniMax-01 시리즈는 최초로 선형 주의 메커니즘을 대규모로 구현하여 기존 Transformer 아키텍처의 한계를 깨는 등 아키텍처에 과감한 혁신을 가져왔습니다. 매개변수 볼륨은 최대 4,560억 개이고 단일 활성화는 459억 개입니다. 종합 성능은 해외 상위 모델과 비슷하며 최대 400만 개의 토큰까지 효율적으로 처리할 수 있습니다. 이 길이는 GPT-4o의 32배입니다. 클로드-3.5-소네트(Claude-3.5-Sonnet).
MiniMax는 2025년이 에이전트의 급속한 발전에 중요한 해가 될 것이라고 믿습니다. 단일 에이전트 시스템이든 다중 에이전트 시스템이든 지속적인 메모리와 대량의 통신을 지원하려면 더 긴 컨텍스트가 필요합니다. MiniMax-01 모델 시리즈의 출시는 이러한 요구를 정확히 충족하고 복잡한 에이전트의 기본 기능을 확립하는 첫 단계를 밟는 것입니다.
아키텍처 혁신, 효율성 최적화 및 통합 클러스터 교육 및 푸시 설계 덕분에 MiniMax는 업계 최저 가격 범위에서 텍스트 및 다중 모드 이해 API 서비스를 제공할 수 있습니다. 표준 가격은 입력 토큰 1위안/백만 토큰 및 출력 토큰 8입니다. 위안/백. 개발자들이 체험할 수 있는 MiniMax 오픈 플랫폼과 해외 버전이 출시되었습니다.
MiniMax-01 시리즈 모델은 GitHub에 오픈소스로 공개되어 있으며 지속적으로 업데이트될 예정입니다. 업계의 주류 텍스트 및 다중 모드 이해 평가에서 MiniMax-01 시리즈는 대부분의 작업에서 국제적으로 인정받는 고급 모델인 GPT-4o-1120 및 Claude-3.5-Sonnet-1022를 묶었습니다. 특히 긴 텍스트 작업의 경우 Google의 Gemini 모델과 비교하여 MiniMax-Text-01은 입력 길이가 늘어남에 따라 성능 저하가 가장 느려서 Gemini보다 훨씬 뛰어납니다.
MiniMax의 모델은 선형 복잡성에 접근하면서 긴 입력을 처리할 때 매우 효율적입니다. 구조 설계에서 8개 레이어 중 7개 레이어는 Lightning Attention을 기반으로 한 선형 Attention을 사용하고, 1개 레이어는 기존 SoftMax Attention을 사용합니다. MiniMax는 스케일링 법칙, MoE와의 결합, 구조 설계, 훈련 최적화 및 추론 최적화를 종합적으로 고려하여 훈련 및 추론 시스템을 재구성했습니다. 보다 효율적인 MoE 전체 통신 최적화, 더 긴 시퀀스 최적화, 추론 수준에서 선형 주의의 효율적인 커널 구현을 포함합니다.
MiniMax-01 시리즈는 대부분의 학술 테스트에서 해외 1등급 제품과 비슷한 결과를 얻었습니다. 400만 개의 Needle-In-A-Haystack 검색 작업에서 뛰어난 성능을 보이는 등 긴 컨텍스트 평가 세트에서 훨씬 앞서 있습니다. MiniMax는 학술 데이터 세트 외에도 실제 데이터를 기반으로 보조 시나리오 테스트 세트를 구축했으며 MiniMax-Text-01은 이 시나리오에서 탁월한 성능을 발휘했습니다. 다중 모드 이해 테스트 세트에서도 MiniMax-VL-01이 앞서 있습니다.
오픈소스 주소: https://github.com/MiniMax-AI
MiniMax-01 시리즈 모델의 오픈 소스는 AI 분야의 발전에 새로운 활력을 불어넣었습니다. 긴 텍스트 처리 및 다중 모드 이해의 획기적인 발전은 Agent 기술 및 관련 애플리케이션의 급속한 발전을 촉진할 것입니다. 우리는 앞으로도 MiniMax의 더 많은 혁신과 돌파구를 기대합니다.