最近、非営利団体 Epoch AI は、その AI 数学ベンチマークである FrontierMath プロジェクトが OpenAI から資金提供を受けていたにもかかわらず、適時に開示しなかったため、物議を醸しました。この事件は、情報開示の透明性、利益相反、ベンチマークの客観性などの問題を伴い、学者や国民の間で幅広い懸念を引き起こした。この記事では、この事件の詳細を詳細に分析し、その潜在的な影響を探ります。
最近、AI の数学的ベンチマークを開発する非営利団体である Epoch AI が、OpenAI から受け取った資金を速やかに開示しなかったことで物議を醸しました。同組織は12月20日、OpenAIがAIの数学的能力をテストするために設計されたベンチマークであるFrontierMathと呼ばれるプロジェクトに資金を提供したことを発表した。OpenAIは、次期主力AI製品o3を紹介するためにもこのベンチマークを使用した。 LessWrong フォーラムで「Meemi」というニックネームを使用している Epoch AI の請負業者は、FrontierMath プロジェクトへの貢献者の多くは OpenAI の資金提供が公表されるまで知らなかったと述べた。同氏は、「この件に関するコミュニケーションには透明性が欠如している。私の意見では、Epoch AIはOpenAIの資金源を事前に開示すべきであり、請負業者は、OpenAIを利用するかどうかを決定する前に、自分たちの仕事が能力評価に使用される可能性があることを知っておくべきである」と述べた。ソーシャルメディア上では、一部のユーザーは、そのような秘密が客観的なベンチマークとしての FrontierMath の評判を損なう可能性があると懸念を表明しました。 OpenAI は、FrontierMath への資金提供に加えて、Epoch AI が 12 月 20 日までに公開していなかったベンチマークの多くの問題と解決策も可視化しています。スタンフォード大学の数学博士課程の学生であるカリーナ・ホン氏は、OpenAI が Epoch AI と協力しているため、FrontierMath への優先アクセス権を獲得しており、一部の寄稿者を不快にさせたとソーシャル プラットフォームで指摘しました。 「FrontierMath ベンチマークに多大な貢献をした 6 人の数学者は、OpenAI がこのベンチマークを独占的に所有しており、他の人はアクセスできないことを知らなかったと認めました。」とホン氏は述べ、これを知った後、ほとんどの貢献者はそう言ったと述べました。事前に知っていたのですが、この取り決めではプロジェクトに参加できない可能性があります。 Epoch AIの副所長であるTamay Besiroglu氏は、組織の透明性は不十分ではあるが、FrontierMathの完全性は影響を受けていないと信じていると述べた。同氏は、Epoch AIが通信エラーを起こし、OpenAIの参加を事前に貢献者に通知しなかったことを認めた。 Besiroglu氏は、OpenAIがFrontierMathにアクセスできる一方で、OpenAIがAIのトレーニングにベンチマークの問題セットを使用しないという「口頭での合意」が両者の間にあると述べた。 Epoch AI は、FrontierMath ベンチマーク結果の独立した検証を保証するために「個別のホールドアウト」も維持します。 Epoch AI の主席数学者 Ellot Glazer 氏は Reddit で、Epoch AI は OpenAI の FrontierMath o3 の結果を独自に検証していないと述べました。彼は OpenAI のスコアは信頼できると信じていますが、独立したレビューが完了するまでそれを確認することはできません。
Epoch AI事件は、科学研究協力における透明性と情報公開の重要性を明らかにした。 将来的には、同様の AI ベンチマーク プロジェクトには、客観性と公平性を確保し、学術コミュニティの信頼と評判を維持するために、より明確な資金提供契約とより効果的なコミュニケーション メカニズムが必要になるでしょう。 この方法によってのみ、AI 分野の健全な発展を促進することができます。