최근 비영리단체 에포크 AI(Epoch AI)는 자사의 AI 수학 벤치마크 프론티어매스(FrontierMath) 프로젝트가 오픈AI로부터 자금을 지원받았으나 이를 적시에 공개하지 않아 논란을 일으켰다. 이번 사건은 정보공개의 투명성, 이해상충, 벤치마킹의 객관성 등의 문제를 수반하며 학계는 물론 대중의 폭넓은 관심을 불러일으켰다. 이 기사에서는 이번 사건의 내용을 자세히 분석하고 잠재적인 영향을 살펴보겠습니다.
최근 AI 수학적 벤치마크를 개발하는 비영리단체 에포크 AI(Epoch AI)가 오픈AI로부터 받은 자금을 신속하게 공개하지 않아 논란을 불러일으켰다. OpenAI는 12월 20일에 OpenAI가 AI의 수학적 기능을 테스트하기 위해 설계된 벤치마크인 FrontierMath라는 프로젝트에 자금을 지원했다고 발표했습니다. OpenAI는 또한 이 벤치마크를 사용하여 곧 출시될 주력 AI 제품인 o3를 선보였습니다. LessWrong 포럼에서 "Meemi"라는 별명을 사용하는 Epoch AI 계약자는 FrontierMath 프로젝트에 기여한 많은 사람들이 OpenAI가 공개될 때까지 OpenAI의 자금 지원을 알지 못했다고 말했습니다. 그는 "이에 대한 의사소통의 투명성이 부족하다. 내 생각에는 Epoch AI는 OpenAI에 대한 자금 출처를 사전에 공개해야 하며 계약자는 자신의 작업이 역량 평가에 사용될 수 있다는 사실을 알고 있어야 한다"고 말했다. 벤치마크에 참여하세요.” 개발.” 소셜 미디어에서 일부 사용자는 그러한 비밀이 객관적인 벤치마크로서 FrontierMath의 명성을 손상시킬 수 있다는 우려를 표명했습니다. OpenAI는 FrontierMath에 자금을 지원하는 것 외에도 Epoch AI가 12월 20일 이전에 공개하지 않은 벤치마크의 많은 문제와 솔루션에 대한 가시성을 갖고 있습니다. 스탠포드 대학교 수학과 박사과정 학생인 카리나 홍(Carina Hong)은 OpenAI가 Epoch AI와의 협력으로 인해 FrontierMath에 우선적으로 접근할 수 있게 되어 일부 기여자들이 불만을 갖게 되었다고 소셜 플랫폼에서 지적했습니다. "FrontierMath 벤치마크에 상당한 기여를 한 6명의 수학자들은 OpenAI가 이 벤치마크를 독점적으로 소유할 것이며 다른 사람들은 그것에 접근할 수 없을 것이라는 사실을 몰랐다고 확인했습니다."라고 홍씨는 말했습니다. 미리 알고 있었지만, 이 합의로 인해 그들은 프로젝트에 참여하지 못할 수도 있습니다. Epoch AI의 부국장인 Tamay Besiroglu는 비록 조직의 투명성이 부족했지만 FrontierMath의 무결성은 영향을 받지 않았다고 믿습니다. 그는 Epoch AI가 통신 오류를 범했고 기여자들에게 OpenAI의 참여를 사전에 알리지 않았다는 점을 인정했습니다. Besiroglu는 OpenAI가 FrontierMath에 액세스할 수 있지만 OpenAI가 AI를 훈련하기 위해 벤치마크 문제 세트를 사용하지 않을 것이라는 두 당사자 간의 "구두적 합의"가 있다고 말했습니다. Epoch AI는 또한 FrontierMath 벤치마크 결과의 독립적인 검증을 보장하기 위해 "별도의 홀드아웃"을 유지합니다. Epoch AI 수석 수학자 Ellot Glazer는 Reddit에서 Epoch AI가 OpenAI의 FrontierMath o3 결과를 독립적으로 검증하지 않았다고 언급했습니다. 그는 OpenAI의 점수가 신뢰할 수 있다고 생각하지만 독립적인 검토가 완료될 때까지 이를 확인할 수 없습니다.
Epoch AI 사건은 과학 연구 협력에서 투명성과 정보 공개의 중요성을 드러냈습니다. 앞으로 유사한 AI 벤치마크 프로젝트에는 객관성과 공평성을 보장하고 학계의 신뢰와 평판을 유지하기 위해 보다 명확한 자금 조달 계약과 보다 효과적인 커뮤니케이션 메커니즘이 필요할 것입니다. 그래야만 AI 분야의 건전한 발전이 촉진될 수 있다.