최근 몇 년 동안 생성적 AI 기술이 급속도로 발전했지만, 단순히 AI 성능을 향상하기 위해 증가하는 데이터와 컴퓨팅 성능에만 의존하는 전통적인 방법은 병목 현상에 이르렀습니다. Downcodes의 편집자는 AI 분야가 규모 확장의 시대에서 획기적인 혁신에 초점을 맞춘 새로운 단계로 전환되고 있음을 많은 최고 AI 과학자들이 지적했다는 사실을 알게 되었습니다. 이러한 변화는 AI 개발이 단순히 규모 확장을 추구하기보다 모델 품질 향상에 더 많은 관심을 기울일 것임을 의미합니다. 새로운 기술 경로와 방법이 탐구되고 적용되어 AI 분야의 향후 발전에 새로운 기회와 도전이 제기되고 있습니다.
생성적 AI의 급속한 발전으로 인해 더 클수록 좋다는 업계의 전통적인 이해가 바뀌고 있습니다. 최근 많은 AI 최고 과학자들은 단순히 데이터 양과 컴퓨팅 파워를 늘리는 것만으로도 AI 성능을 향상시키는 방법이 병목 현상에 가까워지고 있으며 새로운 기술 혁신 방향이 나타나고 있다고 밝혔습니다.
Safe Superintelligence와 OpenAI의 공동 창립자인 Ilya Sutskever는 최근 전통적인 사전 훈련 방법이 성능 정체기에 진입했다는 자신의 의견을 표명했습니다. 이 주장은 ChatGPT를 탄생시킨 대규모 사전 훈련 방법에 대한 그의 초기 옹호였기 때문에 특히 인상적입니다. 오늘날 AI 분야는 규모 확장의 시대에서 기적과 발견의 시대로 옮겨갔다고 말했다.
현재 대규모 모델 교육은 수천만 달러의 교육 비용, 시스템 복잡성으로 인한 하드웨어 오류 위험, 긴 테스트 주기, 데이터 리소스 및 에너지 공급 제한 등 여러 가지 과제에 직면해 있습니다. 이러한 문제로 인해 연구자들은 새로운 기술 경로를 탐색하게 되었습니다.
그 중 테스트 시간 컴퓨팅 기술이 큰 주목을 받았습니다. 이 접근 방식을 사용하면 AI 모델이 단일 답변을 직접 제공하는 대신 사용 중에 실시간으로 여러 옵션을 생성하고 평가할 수 있습니다. OpenAI 연구원인 Noam Brown은 생생한 비유를 했습니다. AI에게 20초 동안 포커 게임에 대해 생각하도록 요청하는 것은 모델 크기와 훈련 시간을 100,000배 확장하는 것과 같은 효과가 있습니다.
현재 OpenAI, Anthropic, xAI 및 DeepMind를 포함한 많은 최고의 AI 연구소가 자체 기술 버전을 적극적으로 개발하고 있습니다. OpenAI는 최신 모델 o1에 이 기술을 적용했으며, 최고 제품 책임자인 Kevin Weil은 이러한 혁신적인 방법을 통해 모델 성능을 향상시킬 수 있는 많은 기회를 확인했다고 말했습니다.
업계 전문가들은 이러한 기술 경로의 변화가 전체 AI 산업의 경쟁 구도를 재편하고 다양한 자원에 대한 AI 기업의 수요 구조를 근본적으로 변화시킬 수 있다고 믿습니다. 이는 AI 개발이 순수한 규모 확장보다는 품질 개선에 더 중점을 두는 새로운 단계로 접어들고 있음을 의미한다.
새로운 기술의 혁신은 AI 산업에 새로운 발전 기회를 가져왔고, AI 발전의 미래 방향에 대한 새로운 사고를 제시하기도 했습니다. Downcodes의 편집자는 향후 개발에서 AI 분야에서 더욱 혁신적인 기술이 계속 등장하여 AI 기술의 발전을 더 깊은 수준으로 촉진하고 궁극적으로 인류 사회에 도움이 될 것이라고 믿습니다.