Baru-baru ini, organisasi nirlaba Epoch AI menimbulkan kontroversi karena proyek benchmark matematika AI FrontierMath menerima dana dari OpenAI tetapi gagal mengungkapkannya pada waktu yang tepat. Peristiwa ini melibatkan isu-isu seperti transparansi keterbukaan informasi, konflik kepentingan, dan objektivitas benchmarking, serta telah menimbulkan kekhawatiran luas di kalangan akademisi dan masyarakat. Artikel ini akan menganalisis seluk beluk kejadian ini secara detail dan menggali potensi dampaknya.
Baru-baru ini, Epoch AI, sebuah organisasi nirlaba yang mengembangkan tolok ukur matematika AI, menimbulkan kontroversi karena gagal segera mengungkapkan pendanaan yang diterimanya dari OpenAI. Organisasi tersebut mengumumkan pada tanggal 20 Desember bahwa OpenAI mendanai sebuah proyek bernama FrontierMath, sebuah tolok ukur yang dirancang untuk menguji kemampuan matematis AI. OpenAI juga menggunakan tolok ukur tersebut untuk memamerkan produk AI andalannya yang akan datang, o3. Kontraktor Epoch AI yang menggunakan nama panggilan "Meemi" di forum LessWrong mengatakan bahwa banyak kontributor proyek FrontierMath tidak mengetahui pendanaan OpenAI sampai proyek tersebut dipublikasikan. Dia menyebutkan: "Ada kurangnya transparansi dalam komunikasi mengenai hal ini. Menurut pendapat saya, Epoch AI harus mengungkapkan sumber pendanaan untuk OpenAI terlebih dahulu, dan kontraktor juga harus mengetahui bahwa pekerjaan mereka dapat digunakan untuk penilaian kemampuan sebelum mereka memutuskan apakah akan berpartisipasi dalam tolok ukur." pengembangan.” Di media sosial, beberapa pengguna menyatakan kekhawatiran bahwa kerahasiaan tersebut dapat merusak reputasi FrontierMath sebagai tolok ukur objektif. Selain mendanai FrontierMath, OpenAI juga memiliki visibilitas terhadap banyak masalah dan solusi dalam benchmark, yang tidak diungkapkan oleh Epoch AI sebelum tanggal 20 Desember. Carina Hong, seorang mahasiswa doktoral matematika di Universitas Stanford, menunjukkan di platform sosial bahwa OpenAI menerima akses prioritas ke FrontierMath karena kerjasamanya dengan Epoch AI, yang membuat beberapa kontributor tidak senang. "Enam ahli matematika yang telah memberikan kontribusi signifikan pada benchmark FrontierMath mengonfirmasi bahwa mereka tidak mengetahui bahwa OpenAI akan memonopoli benchmark ini dan bahwa orang lain tidak akan dapat mengaksesnya." Hong mengatakan bahwa setelah mempelajari hal ini, sebagian besar kontributor mengatakan jika mereka memilikinya mengetahui hal itu sebelumnya, Dengan pengaturan ini, mereka tidak boleh berpartisipasi dalam proyek. Tamay Besiroglu, wakil direktur Epoch AI, mengatakan meskipun transparansi organisasinya tidak memadai, dia yakin integritas FrontierMath tidak terpengaruh. Diakuinya, Epoch AI telah melakukan kesalahan komunikasi dan gagal menginformasikan kontributor tentang partisipasi OpenAI terlebih dahulu. Besiroglu mengatakan bahwa meskipun OpenAI memiliki akses ke FrontierMath, ada "kesepakatan lisan" antara kedua pihak bahwa OpenAI tidak akan menggunakan kumpulan masalah benchmark untuk melatih AI-nya. Epoch AI juga mempertahankan "kesepakatan terpisah" untuk memastikan verifikasi independen atas hasil benchmark FrontierMath. Kepala matematikawan Epoch AI, Ellot Glazer, menyebutkan di Reddit bahwa Epoch AI belum memverifikasi secara independen hasil FrontierMath o3 OpenAI. Dia yakin skor OpenAI dapat dipercaya tetapi tidak dapat memastikannya sampai peninjauan independen selesai.
Insiden Epoch AI mengungkap pentingnya transparansi dan keterbukaan informasi dalam kerja sama penelitian ilmiah. Di masa depan, proyek benchmark AI serupa akan memerlukan perjanjian pendanaan yang lebih jelas dan mekanisme komunikasi yang lebih efektif untuk memastikan objektivitas dan imparsialitas serta menjaga kepercayaan dan reputasi komunitas akademis. Hanya dengan cara inilah perkembangan bidang AI yang sehat dapat dipromosikan.