최근 캘리포니아 대학교의 Sky Computing Lab 팀 팀은 Berkeley가 AI의 개발을 더 쉽고 저렴하게 표현하는 오픈 소스 추론 인공 지능 모델 인 Sky-T1-32B-Prreview를 발표했습니다. 이 모델은 여러 주요 벤치 마크에서 잘 수행되었으며 이전 버전의 OpenAI 버전 O1과 비교할 수 있습니다.
Sky-T1의 교육 비용은 450 달러에 불과하며, 이는 높은 수준의 추론 능력의 복제가 더 저렴하고 효율적이되었습니다. 450 달러의 수수료는 낮지 않을 수도 있지만, 몇 년 전 수억 달러의 훈련 비용에 비해 큰 하락입니다. 합성 훈련 데이터, 즉 다른 모델에서 생성 된 교육 데이터의 도움으로 비용이 크게 줄어 듭니다. AI Company Writer는 최근 합성 데이터에 거의 전적으로 의존하는 Palmyra X004를 발표했으며 개발 비용은 70 만 달러에 불과합니다.
대부분의 AI와 달리 추론 모델은 효과적으로 자체 점검 할 수 있으므로 일반적인 문제를 해결할 때 더 신뢰할 수 있습니다. 추론 모델은 일반적으로 솔루션을 도출 할 때 시간이 더 걸리며, 이는 몇 초에서 몇 분에서 몇 분이 걸릴 수 있지만 물리, 과학 및 수학과 같은 분야에서는 신뢰성 이점이 중요합니다.
Novasky 팀은 Alibaba의 QWQ-32B-Preview를 사용하여 Sky-T1의 초기 교육 데이터를 생성 한 다음 OpenAI의 GPT-4O-MINI를 사용하여 데이터를 다시 구성했습니다 더 많은 운영 형식. 8 NVIDIA H100GPUS 세트를 사용하여 32 억 파라미터로 Sky-T1을 훈련하는 데 약 19 시간이 걸립니다. 매개 변수의 수는 모델의 문제 해결 능력과 거의 관련이 있습니다.
Novasky Team에 따르면 Sky-T1은 Math500“컨테스트 수준”수학적 과제 컬렉션에서 O1의 초기 미리보기 버전을 능가했습니다. 또한 Sky-T1은 O1의 미리보기 버전보다 LiveCodeBench에서 더 많은 어려움을 겪었습니다. 그러나 Sky-T1은 물리학, 생물학 및 화학과 관련된 문제와 관련하여 GPQA- 디아몬드 테스트에서 O1 미리보기보다 더 나빴습니다.
OpenAI의 GA 버전 O1은 미리보기 버전보다 강력하며 OpenAI는 향후 몇 주 안에 더 나은 추론 모델 O3을 출시 할 것으로 예상됩니다. 그러나 Novasky 팀은 Sky-T1이 고급 추론 기능을 갖춘 오픈 소스 모델을 개발하기위한 여정의 시작일 뿐이라고 말했다.
“우리는 강력한 추론 성능을 유지하고 모델 효율성과 정확성을 더욱 향상시키는 고급 기술을 탐색하기 위해보다 효율적인 모델을 개발하는 데 중점을 둘 것입니다. "이 흥미 진진한 프로젝트에 대한 진전을 계속 지켜봐 주시기 바랍니다."