버클리 캘리포니아 대학교의 Sky Computing Laboratory의 연구팀 인 Novasky는 최근 Sky-T1-32B-Prreview라는 추론 모델을 발표했습니다. . 더욱 놀라운 것은이 모델의 교육 비용이 매우 낮아 효율적이고 경제적 인 인공 지능 개발의 새로운 트렌드를 보여줍니다.
Sky-T1-32B-Prreview는 최초의 진정한 오픈 소스 추론 모델입니다. Novasky Team은 모델 자체를 노출시킬뿐만 아니라 모델을 완전히 복사 할 수 있도록 교육 데이터 세트 및 필요한 교육 코드를 제공합니다. 팀의 블로그에 따르면 "Sky-T1-32B의 교육 비용은 450 달러 미만이며, 이는 과거에 비슷한 성능 모델의 교육이 저렴한 비용으로 달성 될 수 있음을 증명합니다. 과거에 이루어져야합니다. 수백만 달러의 투자가 필요합니다. 이러한 상당한 비용 절감은 주로 합성 훈련 데이터의 사용에 기인합니다. 예를 들어, 인공 지능 회사가 최근에 발표 한 Palmyra X004 모델은 거의 전적으로 훈련을위한 합성 데이터에 의존하며 개발 비용은 70 만 달러에 불과합니다.
추론 모델은 일반적인 인공 지능 모델과 다릅니다. 그러나 추론 모델은 종종 몇 초에서 분에 대한 솔루션을 제시하는 데 시간이 오래 걸립니다. 그럼에도 불구하고 물리, 과학 및 수학과 같은 분야의 신뢰성은 이러한 분야에 이상적입니다.
Novasky 팀은 Alibaba의 QWQ-32B-Preview 추론 모델을 사용하여 Sky-T1의 초기 교육 데이터를 생성 한 다음 OpenAI의 GPT-4O-MINI를 사용하여보다 유용한 데이터로 재구성했습니다. 8 NVIDIA H100 GPU 랙을 사용하여 320 억 파라미터로 Sky-T1을 훈련하는 데 약 19 시간이 걸리며 매개 변수 수는 모델의 문제 해결 능력을 직접 반영합니다.
성능 테스트에서 Sky-T1은 Math500 ( "컨테스트 수준"수학적 과제 세트)에서 O1의 초기 미리보기 버전을 능가하고 LiveCodeBench의 코딩 퍼즐 세트에서 O1의 미리보기 버전을 능가했습니다. 그러나 Sky-T1은 GPQA-Diamond의 O1 미리보기 버전만큼 좋지 않습니다. 여기에는 박사 졸업생이 마스터 해야하는 물리, 생물학 및 화학 관련 문제가 포함되어 있습니다. 또한 OpenAi의 O1GA 버전은 미리보기 버전보다 강력하며 OpenAI는 앞으로 몇 주 안에 더 나은 성능 추론 모델 O3을 출시 할 것으로 예상합니다.
그럼에도 불구하고 Novasky 팀은 Sky-T1이 고급 추론 기능을 갖춘 오픈 소스 모델을 개발할 수있는 출발점 일 뿐이라고 말했다. "우리는보다 효율적인 모델 개발, 강력한 추론 성능 유지 및 테스트시 모델의 효율성과 정확성을 더욱 향상시키기 위해 고급 기술을 탐색하는 데 중점을 둘 것입니다." 흥미 진진한 계획 ""이 오픈 소스 추론 모델의 출현은 의심 할 여지없이 인공 지능 분야에 새로운 기회와 도전을 가져 오며, 미래의 발전은 지속적인 관심을 끌 필요가 있습니다.