최근 몇 년 동안 LLM (Large Language Model)의 성능 향상은 주로 스케일 확장, 즉 데이터 볼륨 및 컴퓨팅 전력을 증가시키는 데 의존했습니다. 그러나이 모델은 점차 병목 현상에 도달하고 있습니다. 업계 전문가들은 "더 크고 더 나은"전략에 의존함으로써 단순히 상당한 진전을 이루기가 어렵다고 지적했다. 이 기사는 현재 AI 필드가 직면 한 과제와 새로운 "테스트 시간 컴퓨팅"기술이 AI 개발에 새로운 방향을 가져올 수있는 방법을 탐구 할 것입니다.
생성 AI의 빠른 발전으로 인해 업계의 "더 큰 것이 더 좋다"는 전통적인 인식이 변화하고 있습니다. 많은 AI 과학자들은 최근 데이터의 양을 단순히 늘려서 AI 성능을 향상시키는 방법이 병목 현상에 접근하고 있으며 새로운 기술 혁신이 떠오르고 있다고 말했다.
Safe Superintelligence and Openai의 공동 설립자 인 Ilya Sutskever는 최근 전통적인 사전 훈련 방법이 성능 플랫폼 기간에 들어갔다는 그의 의견을 표명했습니다. 이 진술은 특히 Chatgpt를 낳은 초기에 그가 옹호했던 대규모 사전 훈련 방법이기 때문에 특히 시선을 사로 잡습니다. 오늘날 그는 AI 분야가 "규모 확장 시대의 시대"에서 "기적의 시대와 발견 시대"로 옮겼다 고 말했다.
현재 대규모 모델 교육은 수천만 달러의 훈련 비용, 시스템 복잡성으로 인한 하드웨어 실패의 위험, 긴 테스트주기 및 데이터 자원 및 에너지 공급 제한에 직면 해 있습니다. 이러한 질문으로 인해 연구원들은 새로운 기술 경로를 탐색하도록 자극했습니다.
그 중 "테스트 시간 컴퓨팅"기술은 광범위한 관심을 끌었습니다. 이 접근법을 사용하면 AI 모델이 단일 답변을 직접 제공하지 않고 사용 중에 실시간으로 여러 솔루션을 생성하고 평가할 수 있습니다. Openai 연구원 Noam Brown은 이미지를 비유했습니다. Ai는 Play Card에서 20 초 동안 생각하게하는데, 이는 모델과 훈련 시간의 규모를 100,000 번 확장하는 것과 비슷합니다.
현재 OpenAI, Anthropic, Xai 및 Deepmind를 포함한 여러 AI 실험실이 각각의 기술 버전을 적극적으로 개발하고 있습니다. OpenAi는이 기술을 최신 모델 "O1"에 적용했으며, 최고 제품 책임자 인 Kevin Weil은 이러한 혁신적인 접근 방식을 통해 모델 성능을 향상시킬 수있는 많은 기회를 보았다고 말했습니다.
업계 전문가들은 이러한 기술 경로의 변화가 전체 AI 산업의 경쟁 환경을 재구성하고 다양한 자원에 대한 AI 회사의 수요 구조를 근본적으로 변화시킬 수 있다고 생각합니다. 이는 AI 개발이 단순히 확장을 확장하기보다는 품질 개선에 더 중점을 둔 새로운 단계에 들어가고 있음을 나타냅니다.
요컨대, "테스트 시간 컴퓨팅"과 같은 새로운 기술의 상승은 AI 개발의 새로운 단계, 즉 단순히 확장 확장이 아니라 모델 성능 향상에 더 많은 관심을 기울입니다. 이는 AI 산업의 경쟁 환경을 바꾸고 AI 기술이보다 세련되고 지능적인 방향으로 개발되도록 촉진 할 것입니다. 앞으로 AI 기술의 혁신은 간단한 컴퓨팅 파워 축적보다는 알고리즘 혁신과 모델의 본질에 대한 이해에 더 의존 할 것입니다.