近日，非營利組織Epoch AI因其開發的AI數學基準測試FrontierMath計畫接受OpenAI資助卻未及時公開，引發爭議。此事件涉及資訊揭露透明度、利益衝突以及基準測試的客觀性等問題，引發了學術界和公眾的廣泛關注。本文將詳細分析此事件的來龍去脈，並探討其潛在影響。
近期，開發AI 數學基準的非營利組織Epoch AI 因未及時披露其獲得OpenAI 資金而引發爭議。該組織於12月20日宣布，OpenAI 資助了名為FrontierMath 的項目，這是一項旨在測試AI 數學能力的基準，OpenAI 也利用該基準展示了其即將推出的旗艦AI 產品o3。 Epoch AI 的一名承包商在論壇LessWrong 上使用暱稱「Meemi」 表示，許多參與FrontierMath 計畫的貢獻者在OpenAI 的資助被公開之前並不知情。他提到：「關於這一點的溝通缺乏透明度。在我看來，Epoch AI 應該提前披露OpenAI 的資金來源，承包商也應當清楚他們的工作有可能被用於能力評估時，才能決定是否參與基準的發展。除了資助FrontierMath 外，OpenAI 還對該基準中的許多問題和解決方案擁有可見性，而Epoch AI 在12月20日之前並未對此進行披露。史丹佛大學的數學博士生Carina Hong 在社交平台上指出，OpenAI 因與Epoch AI 的合作而獲得了FrontierMath 的優先訪問權，這讓一些貢獻者感到不滿。 「六位對FrontierMath 基準有顯著貢獻的數學家確認，他們並不知道OpenAI 會獨佔這個基準，其他人將無法接觸到。」Hong 表示，大多數貢獻者在得知這一點後表示，如果早知道這一安排，他們可能不會參與該專案。 Epoch AI 副主任Tamay Besiroglu 對此表示，雖然組織的透明度不足，但他認為FrontierMath 的完整性並未受到影響。他承認，Epoch AI 在溝通上有失誤，未能事先告知貢獻者OpenAI 的參與情況。 Besiroglu 表示，雖然OpenAI 有權訪問FrontierMath，但雙方有“口頭協議”，OpenAI 不會使用該基準的問題集來訓練其AI。 Epoch AI 還保留了一份“單獨的保留集”，以確保FrontierMath 基準結果的獨立驗證。 Epoch AI 首席數學家Ellot Glazer 在Reddit 上提到，Epoch AI 尚未獨立驗證OpenAI 的FrontierMath o3結果。他認為OpenAI 的得分是可信的，但在獨立評估完成之前，無法對其進行確認。
Epoch AI 事件揭露科研合作中透明度和資訊揭露的重要性。 未來，類似的AI 基準計畫需要更清晰的資助協議和更有效的溝通機制，以確保其客觀性和公正性，並維護學術界的信任與聲譽。 這樣，才能促進AI領域健康發展。