많은 기대를 모으고 있는 오픈AI(OpenAI)의 차세대 모델 오리온(Orion)은 물론, 구글, 오픈AI와 경쟁하는 또 다른 스타 인공지능(AI) 스타트업 앤트로픽(Anthropic)도 첨단 AI 모델 개발에 병목 현상이 발생했다고 전했다.
동부 표준시인 11월 13일 수요일, Bloomberg는 OpenAI가 이전 버전을 훨씬 뛰어넘고 AI가 인간을 능가하는 목표에 더 가까워지길 바라며 올해 9월 첫 번째 Orion 훈련을 완료했다고 보도했습니다. 하지만 오리온은 회사가 기대한 만큼의 성능을 발휘하지 못했습니다. 늦여름 현재 모델은 훈련되지 않은 코딩 질문에 답하려고 할 때 성능이 좋지 않았습니다.
이 문제에 정통한 사람들은 전체적으로 지금까지 GPT-3.5를 넘어선 GPT-4의 성능에 비해 오리온과 OpenAI의 기존 모델은 그다지 진전을 이루지 못했다고 말했습니다.
보고서는 또한 이 문제에 정통한 다른 세 사람의 말을 인용하여 Google의 곧 출시될 Gemini 새 버전이 내부 기대를 충족하지 못했고 Anthropic도 3.5 Opus로 알려진 Claude 모델의 계획된 출시를 연기했다고 말했습니다.
보고서는 위의 세 회사가 AI 모델을 개발하는 데 있어 여러 가지 과제에 직면해 있다고 생각합니다. 아직 개발되지 않은 고품질 인공 훈련 데이터를 찾는 것이 점점 더 어려워지고 있습니다. 예를 들어, Orion의 만족스럽지 못한 인코딩 성능은 부분적으로 훈련을 위한 충분한 인코딩 데이터가 부족하기 때문에 발생합니다. 모델 성능이 약간만 향상되더라도 새 모델을 구축하고 실행하는 데 드는 막대한 비용을 정당화하거나 대규모 업그레이드에 대한 기대를 충족시키기에는 충분하지 않을 수 있습니다.
AI 모델 개발의 병목 현상 문제는 많은 스타트업은 물론 거대 기술 기업까지 가이드라인으로 삼고 있는 스케일링 법칙에 도전하고 있으며, 이는 일반 인공지능(AGI)을 달성하기 위한 AI에 대한 대규모 투자의 타당성에도 의문을 제기합니다.
월스트리트 뉴스는 이르면 2020년 초 OpenAI가 제안한 법칙이 대규모 모델의 최종 성능이 주로 계산량, 모델 매개변수의 양, 훈련 데이터의 양과 관련이 있다는 것을 의미한다고 언급한 바 있습니다. 모델의 특정 구조(레이어) 수/깊이/너비)는 기본적으로 관련이 없습니다. 올해 7월 마이크로소프트 최고기술책임자(CTO) 케빈 스콧(Kevin Scott)도 스케일링법이 현재 산업에 여전히 적용된다며 이 법을 옹호했다. 대형 모델을 확장하더라도 한계 이익은 줄어들지 않는다. 공교롭게도 지난주 언론은 OpenAI가 오리온이 "그렇게 큰 도약을 이루지 못했다"는 사실을 발견했으며 그 진전은 이전 2세대 플래그십 모델보다 훨씬 적었다는 소식을 전했습니다. 이번 발견은 AI 분야에서 추구해온 스케일링 법칙에 직접적으로 도전하는 것이다. 고품질 훈련 데이터의 감소와 계산 비용의 증가로 인해 OpenAI의 연구원들은 모델 성능을 향상시킬 수 있는 다른 방법이 있는지 조사하기 시작해야 했습니다.예를 들어 OpenAI는 모델에 더 많은 코드 작성 기능을 내장하고 있으며 클릭, 커서 이동 및 기타 작업을 수행하여 PC를 대신하여 웹 브라우저 활동이나 애플리케이션 작업을 완료할 수 있는 소프트웨어를 개발하려고 노력하고 있습니다.
OpenAI는 또한 이전에 사전 훈련을 담당했던 Nick Ryder가 이끄는 전담 팀을 구성하여 제한된 훈련 데이터를 최적화하고 모델 개선의 안정성을 유지하기 위해 확장 방법의 적용을 조정하는 방법을 탐색했습니다.
수요일 블룸버그 보고서에 대해 구글 딥마인드 대변인은 "제미니의 진전에 만족하며 준비가 되면 더 많은 정보를 공유할 것"이라고 말했다. Anthropic도 논평을 거부했지만 월요일에 게시된 블로그 게시물을 언급했는데, Anthropic CEO Dario Amodei는 5시간 동안의 팟캐스트에서 연설했습니다.
아모델은 사람들이 스케일링 법칙이라고 부르는 것은 잘못된 명칭이라고 말했습니다. 그것은 보편적인 법칙이 아니라 경험적인 법칙입니다. Amodel은 확장 법칙이 계속 존재할 것으로 예상하지만 확실하지는 않습니다. 그는 "데이터가 부족할 수 있다"는 것을 포함해 앞으로 더욱 강력한 AI를 향한 진전을 "방해"할 수 있는 "많은 것들이" 있다고 말했습니다. 그러나 그는 AI 회사들이 어떤 장애물도 극복할 수 있는 방법을 찾을 것이라고 낙관합니다.
블룸버그 보고서에 대해 기업 맞춤형 AI 솔루션을 제공하는 기업 노손AI(NossonAI)의 창업자 노손 와이스만(Nosson Weissman)은 우선 상당한 공헌을 한 실제 전문가의 표현을 보지 못해서 보고서가 혼동되지 않는다고 말했다. 둘째, AI 분야에서 우리는 모델링에서 상당한 진전을 자주 볼 수 있으며, 마지막으로 그는 뉴스 매체가 드라마를 만드는 것을 좋아한다고 믿고 있으며 이 보고서는 아름답고 드라마틱한 헤드라인을 가지고 있는 것 같습니다.
