Lambatnya kemajuan proyek GPT-5 OpenAI (dengan nama kode Orion) telah menimbulkan kekhawatiran luas di industri mengenai arah pengembangan model bahasa skala besar di masa depan. Menurut laporan, meskipun kinerja GPT-5 lebih baik dibandingkan model yang ada, peningkatannya tidak cukup untuk mendukung biaya penelitian dan pengembangan yang besar. Yang lebih penting lagi, kurangnya data global telah menjadi hambatan utama yang membatasi GPT-5 untuk lebih meningkatkan tingkat kecerdasannya. Artikel ini akan mengeksplorasi secara mendalam tantangan teknis, kesulitan internal yang dihadapi oleh proyek GPT-5, dan pemikiran yang dihasilkan mengenai hambatan pengembangan AI.
Proyek GPT-5 yang terkenal (dengan nama kode Orion) telah dikembangkan selama lebih dari 18 bulan, namun belum dirilis. Menurut laporan terbaru dari Wall Street Journal, orang-orang yang mengetahui masalah ini mengungkapkan bahwa meskipun kinerja Orion lebih baik daripada model OpenAI yang ada, peningkatannya tidak cukup untuk membenarkan terus menginvestasikan biaya yang besar. Yang lebih mengkhawatirkan lagi adalah kurangnya data global mungkin menjadi hambatan terbesar bagi GPT-5 untuk mencapai tingkat kecerdasan yang lebih tinggi.
GPT-5 disebut-sebut telah menjalani setidaknya dua kali pelatihan, dan setiap pelatihan memunculkan permasalahan baru dan gagal memenuhi ekspektasi peneliti. Setiap putaran pelatihan memakan waktu beberapa bulan, dan biaya komputasinya saja mencapai $500 juta. Tidak jelas apakah atau kapan proyek ini akan berhasil.
Jalan menuju pelatihan penuh dengan kesulitan: muncul hambatan data
Sejak GPT-4 dirilis pada Maret 2023, OpenAI telah memulai pengembangan GPT-5. Biasanya, kemampuan model AI meningkat seiring dengan meningkatnya jumlah data yang diserapnya. Proses pelatihan memerlukan data dalam jumlah besar, memakan waktu berbulan-bulan, dan bergantung pada sejumlah besar chip komputasi yang mahal. CEO OpenAI Altman pernah mengungkapkan bahwa biaya pelatihan GPT-4 saja melebihi US$100 juta, dan biaya pelatihan model AI di masa depan diperkirakan akan melebihi US$1 miliar.
Untuk mengurangi risiko, OpenAI biasanya melakukan uji coba skala kecil terlebih dahulu untuk memverifikasi kelayakan model. Namun pengembangan GPT-5 menemui tantangan sejak awal. Pada pertengahan tahun 2023, OpenAI meluncurkan pelatihan eksperimental yang disebut "Arrakis" yang dirancang untuk menguji desain baru GPT-5. Namun, kemajuan pelatihan berjalan lambat dan mahal, dan hasil eksperimen menunjukkan bahwa pengembangan GPT-5 lebih kompleks dan sulit dari perkiraan semula.
Oleh karena itu, tim peneliti OpenAI memutuskan untuk melakukan serangkaian penyesuaian teknis pada Orion dan menyadari bahwa data Internet publik yang ada tidak lagi dapat memenuhi kebutuhan model tersebut. Untuk meningkatkan kinerja GPT-5, mereka sangat membutuhkan lebih banyak jenis dan data berkualitas lebih tinggi.
“Membuat data dari awal”: Mengatasi kekurangan data
Untuk mengatasi masalah kekurangan data, OpenAI memutuskan untuk "membuat data dari awal". Mereka mempekerjakan insinyur perangkat lunak dan ahli matematika untuk menulis kode perangkat lunak baru atau memecahkan masalah matematika, dan membiarkan Orion belajar dari tugas-tugas ini. OpenAI juga memungkinkan para ahli menjelaskan proses kerja mereka, mengubah kecerdasan manusia menjadi pengetahuan yang dapat dipelajari mesin.
Banyak peneliti percaya bahwa kode, sebagai bahasa perangkat lunak, dapat membantu model besar memecahkan masalah yang belum pernah mereka lihat sebelumnya. CEO Turing Jonathan Siddharth berkata: "Kami mentransfer kecerdasan manusia dari otak manusia ke otak mesin."
OpenAI bahkan bekerja dengan para ahli di bidang seperti fisika teoretis agar mereka dapat menjelaskan cara memecahkan masalah sulit di bidangnya. Namun, pendekatan “membuat data dari awal” ini tidak terlalu efisien. Data pelatihan GPT-4 berjumlah sekitar 13 triliun token. Bahkan jika 1.000 orang menulis 5.000 kata sehari, diperlukan waktu beberapa bulan untuk menghasilkan 1 miliar token.
Untuk mempercepat pelatihan, OpenAI juga mencoba menggunakan "data sintetis" yang dihasilkan oleh AI. Namun, penelitian menunjukkan bahwa putaran umpan balik di mana data yang dihasilkan AI digunakan kembali untuk pelatihan AI terkadang menyebabkan model membuat kesalahan atau menghasilkan jawaban yang tidak berarti. Dalam hal ini, para ilmuwan OpenAI percaya bahwa masalah ini dapat dihindari dengan menggunakan data yang dihasilkan oleh o1.
Masalah internal dan eksternal: OpenAI menghadapi banyak tantangan
OpenAI tidak hanya menghadapi tantangan teknis, namun juga gejolak internal dan perburuan liar oleh pesaing. Pada saat yang sama, tekanan ganda dari teknologi dan keuangan juga semakin meningkat. Setiap sesi pelatihan menelan biaya hingga $500 juta, dan biaya pelatihan akhir kemungkinan akan melebihi $1 miliar. Pada saat yang sama, pesaing seperti Anthropic dan Google juga meluncurkan model generasi baru dalam upaya mengejar OpenAI.
Pengurasan otak dan perselisihan internal semakin memperlambat perkembangan. Tahun lalu, dewan direksi OpenAI tiba-tiba memecat Altman, menyebabkan beberapa peneliti mempertanyakan masa depan perusahaan. Meskipun Altman dengan cepat diangkat kembali sebagai CEO dan mulai memperbaiki struktur tata kelola perusahaan, lebih dari 20 eksekutif kunci, peneliti, dan eksekutif jangka panjang, termasuk salah satu pendiri dan kepala ilmuwan Ilya Sutskever dan kepala teknologi Mira Murati, telah digantikan sejak awal. tahun ini. Karyawan meninggalkan satu demi satu.
Ketika kemajuan proyek Orion terhenti, OpenAI mulai mengembangkan proyek dan aplikasi lain, termasuk versi sederhana dari GPT-4 dan produk pembuatan video AI Sora. Namun hal ini menyebabkan persaingan yang ketat antara tim yang berbeda untuk mendapatkan sumber daya komputasi yang terbatas, terutama antara tim pengembangan produk baru dan tim peneliti Orion.
Hambatan pengembangan AI? Industri ini menghadapi pemikiran yang mendalam
Kesulitan yang dihadapi GPT-5 mungkin mengungkap proposisi industri yang lebih besar: Apakah AI mendekati “masa hambatan” dalam pengembangan? Orang dalam industri menunjukkan bahwa strategi yang mengandalkan data besar dan model yang lebih besar secara bertahap tidak efektif. Mantan ilmuwan OpenAI, Suzkwer, pernah berkata bahwa "kita hanya memiliki satu Internet", pertumbuhan data melambat, dan "bahan bakar fosil" yang mendorong lompatan AI secara bertahap mengering.
Altman tidak pernah memberikan jadwal yang jelas untuk masa depan GPT-5. Kami masih belum mengetahui secara pasti kapan atau apakah OpenAI akan meluncurkan model yang layak disebut GPT-5. Dilema mengenai GPT-5 ini juga memicu pemikiran mendalam masyarakat tentang arah pengembangan AI di masa depan.
Stagnasi proyek GPT-5 tidak hanya berdampak pada pengembangan OpenAI itu sendiri, namun juga memberikan peringatan bagi seluruh industri AI, menunjukkan bahwa jalur yang hanya mengandalkan skala data dan ukuran model mungkin telah berakhir, dan di masa depan. Pengembangan AI perlu mengeksplorasi pendekatan baru dan terobosan teknologi.