Recentemente, a organização sem fins lucrativos Epoch AI causou polêmica porque seu projeto FrontierMath, de referência em matemática de IA, recebeu financiamento da OpenAI, mas não o divulgou em tempo hábil. Este incidente envolve questões como a transparência na divulgação de informações, os conflitos de interesses e a objetividade do benchmarking, e despertou preocupação generalizada entre os acadêmicos e o público. Este artigo analisará detalhadamente os meandros deste incidente e explorará seu impacto potencial.
Recentemente, a Epoch AI, uma organização sem fins lucrativos que desenvolve benchmarks matemáticos de IA, causou polêmica por não divulgar prontamente o financiamento que recebeu da OpenAI. A organização anunciou em 20 de dezembro que a OpenAI financiou um projeto chamado FrontierMath, um benchmark projetado para testar as capacidades matemáticas da IA. A OpenAI também usou o benchmark para mostrar seu próximo produto principal de IA, o3. Um empreiteiro da Epoch AI que usa o apelido “Meemi” no fórum LessWrong disse que muitos colaboradores do projeto FrontierMath não sabiam do financiamento da OpenAI até que ele se tornasse público. Ele mencionou: "Há uma falta de transparência na comunicação sobre isso. Na minha opinião, a Epoch AI deveria divulgar antecipadamente a fonte de financiamento para OpenAI, e os contratantes deveriam saber que seu trabalho pode ser usado para avaliação de capacidade antes de decidirem se devem participar do benchmark." Nas redes sociais, alguns usuários expressaram preocupação de que tal sigilo pudesse prejudicar a reputação da FrontierMath como um benchmark objetivo. Além de financiar o FrontierMath, a OpenAI também tem visibilidade de muitos problemas e soluções no benchmark, que a Epoch AI não divulgou antes de 20 de dezembro. Carina Hong, estudante de doutorado em matemática na Universidade de Stanford, destacou nas plataformas sociais que a OpenAI recebeu acesso prioritário ao FrontierMath devido à sua cooperação com a Epoch AI, o que deixou alguns colaboradores insatisfeitos. "Seis matemáticos que fizeram contribuições significativas para o benchmark FrontierMath confirmaram que não sabiam que a OpenAI seria proprietária exclusiva deste benchmark e que outros não seriam capazes de acessá-lo." sabiam disso antes. Com este acordo, eles não poderão participar do projeto. Tamay Besiroglu, vice-diretor da Epoch AI, disse que embora a transparência da organização tenha sido insuficiente, ele acredita que a integridade da FrontierMath não foi afetada. Ele admitiu que a Epoch AI cometeu erros de comunicação e não informou antecipadamente os contribuidores sobre a participação da OpenAI. Besiroglu disse que embora a OpenAI tenha acesso ao FrontierMath, existe um “acordo verbal” entre as duas partes de que a OpenAI não usará o conjunto de problemas do benchmark para treinar sua IA. A Epoch AI também mantém uma “resistência separada” para garantir a verificação independente dos resultados do benchmark FrontierMath. O matemático-chefe da Epoch AI, Ellot Glazer, mencionou no Reddit que a Epoch AI não verificou de forma independente os resultados do FrontierMath o3 da OpenAI. Ele acredita que a pontuação da OpenAI é confiável, mas não pode confirmá-la até que uma análise independente seja concluída.
O incidente da Epoch AI expôs a importância da transparência e da divulgação de informações na cooperação em investigação científica. No futuro, projetos semelhantes de referência em IA necessitarão de acordos de financiamento mais claros e de mecanismos de comunicação mais eficazes para garantir a sua objetividade e imparcialidade e manter a confiança e a reputação da comunidade académica. Só assim será possível promover o desenvolvimento saudável do campo da IA.