Недавно некоммерческая организация Epoch AI вызвала споры, поскольку ее проект FrontierMath по математическому тесту искусственного интеллекта получил финансирование от OpenAI, но не смог раскрыть его своевременно. Этот инцидент затрагивает такие вопросы, как прозрачность раскрытия информации, конфликты интересов и объективность сравнительного анализа, и вызвал широкую обеспокоенность среди ученых и общественности. В этой статье будут подробно проанализированы все подробности этого инцидента и исследованы его потенциальные последствия.
Недавно Epoch AI, некоммерческая организация, разрабатывающая математические тесты искусственного интеллекта, вызвала споры из-за того, что не смогла оперативно раскрыть информацию о финансировании, полученном ею от OpenAI. 20 декабря организация объявила, что OpenAI профинансировала проект FrontierMath, тест, предназначенный для проверки математических возможностей искусственного интеллекта. OpenAI также использовала этот тест для демонстрации своего будущего флагманского продукта для искусственного интеллекта o3. Подрядчик Epoch AI, который использует никнейм «Meemi» на форуме LessWrong, сказал, что многие участники проекта FrontierMath не знали о финансировании OpenAI, пока оно не было обнародовано. Он упомянул: «Информация по этому поводу непрозрачна. По моему мнению, Epoch AI должна заранее раскрыть источник финансирования OpenAI, а подрядчики должны знать, что их работа может быть использована для оценки возможностей, прежде чем они решат, следует ли это делать». участвовать в разработке эталонного теста». В социальных сетях некоторые пользователи выразили обеспокоенность тем, что такая секретность может нанести ущерб репутации FrontierMath как объективного бенчмарка. Помимо финансирования FrontierMath, OpenAI также имеет представление о многих проблемах и решениях в тесте, о которых Epoch AI не раскрыла до 20 декабря. Карина Хонг, аспирантка по математике в Стэнфордском университете, отметила в социальных сетях, что OpenAI получила приоритетный доступ к FrontierMath благодаря сотрудничеству с Epoch AI, что вызвало недовольство некоторых участников. «Шесть математиков, внесших значительный вклад в тест FrontierMath, подтвердили, что они не знали, что OpenAI будет единолично владеть этим тестом и что другие не смогут получить к нему доступ». знали об этом раньше. При такой договоренности они могут не участвовать в проекте. Тамай Бесироглу, заместитель директора Epoch AI, заявил, что, хотя прозрачность организации недостаточна, он считает, что целостность FrontierMath не пострадала. Он признал, что Epoch AI допустила ошибки в общении и не проинформировала участников заранее об участии OpenAI. Бесироглу сказал, что, хотя OpenAI имеет доступ к FrontierMath, между двумя сторонами существует «устное соглашение» о том, что OpenAI не будет использовать набор задач эталонного теста для обучения своего ИИ. Epoch AI также поддерживает «отдельный контроль», чтобы гарантировать независимую проверку результатов тестов FrontierMath. Главный математик Epoch AI Эллот Глейзер упомянул на Reddit, что Epoch AI не проводила независимую проверку результатов OpenAI FrontierMath o3. Он считает, что оценка OpenAI заслуживает доверия, но не может подтвердить ее до тех пор, пока не будет завершена независимая проверка.
Инцидент с Epoch AI продемонстрировал важность прозрачности и раскрытия информации в сотрудничестве в области научных исследований. В будущем подобные эталонные проекты в области ИИ потребуют более четких соглашений о финансировании и более эффективных механизмов коммуникации, чтобы обеспечить их объективность и беспристрастность, а также сохранить доверие и репутацию академического сообщества. Только таким образом можно способствовать здоровому развитию области искусственного интеллекта.