최근 Stanford University와 Washington University의 연구원들은 S1이라는 AI 추론 모델을 성공적으로 훈련 시켰으며, 이는 $ 50에 불과했습니다. 수학 및 프로그래밍 능력 테스트에서 모델의 성능은 OpenAI의 O1 모델 및 DeepSeek의 R1 모델과 비슷합니다. 이 결과는 AI 모델의 상업화에 대한 새로운 사고를 불러 일으켰으며 대규모 AI 실험실 사이에서 우려를 일으켰습니다.
연구팀은 증류 기술을 통해 기성품 기본 모델에서 필요한 추론 기능을 추출하고 Google의 Gemini2.0 Flash 사고 실험 모델을 사용하여 교육을 받았습니다. 이 과정은 저렴할뿐만 아니라 빠른 훈련입니다.
그럼에도 불구하고, 대형 AI 실험실은 저비용 복제 모델의 현상에 불만족합니다. Meta, Google 및 Microsoft는 향후 2 년 동안 수백억 달러를 투자하여 차세대 AI 모델을 훈련시키기 위해 시장에서의 위치를 통합 할 계획입니다.
S1의 연구 결과는 비교적 작은 데이터 세트와 감독 된 미세 조정 방법을 통해 강한 추론 성능을 달성 할 수있는 가능성을 보여 주며, 이는 향후 AI 연구를위한 새로운 방향을 제공합니다.
종이 : https://arxiv.org/pdf/2501.19393
코드 : https://github.com/simplescaling/s1
핵심 사항 :
S1 모델의 교육 비용은 50 달러 미만이며 성능은 최고 추론 모델과 비교할 수 있습니다.
증류 기술을 통해 연구팀은 기성품 모델에서 추론 기능을 추출하며 교육 프로세스는 빠르고 효율적입니다.
대형 AI 실험실은 저렴한 복제 모델의 상황에 대한 우려를 표명했으며, 투자는 향후 AI 인프라에 중점을 둘 것입니다.