Dalam beberapa tahun terakhir, teknologi AI generatif telah berkembang pesat, namun metode tradisional yang hanya mengandalkan peningkatan data dan daya komputasi untuk meningkatkan kinerja AI telah menemui hambatan. Editor Downcodes mengetahui bahwa banyak ilmuwan AI terkemuka menunjukkan bahwa bidang AI sedang beralih dari era perluasan skala ke tahap baru yang berfokus pada terobosan inovasi. Perubahan ini berarti bahwa pengembangan AI akan lebih memperhatikan peningkatan kualitas model dibandingkan sekadar mengejar perluasan skala. Jalur dan metode teknis baru sedang dieksplorasi dan diterapkan, membawa peluang dan tantangan baru bagi pengembangan bidang AI di masa depan.
Dengan pesatnya perkembangan AI generatif, pemahaman tradisional industri bahwa lebih besar lebih baik mulai berubah. Banyak ilmuwan AI terkemuka baru-baru ini menyatakan bahwa metode untuk meningkatkan kinerja AI hanya dengan meningkatkan jumlah data dan daya komputasi sedang mendekati hambatan, dan arah terobosan teknologi baru pun bermunculan.
Ilya Sutskever, salah satu pendiri Safe Superintelligence dan OpenAI, baru-baru ini menyatakan pendapatnya bahwa metode pra-pelatihan tradisional telah mencapai titik puncak kinerjanya. Pernyataan ini sangat mengejutkan karena dukungan awalnya terhadap metode pra-pelatihan berskala besarlah yang memunculkan ChatGPT. Saat ini, ia mengatakan bahwa bidang AI telah berpindah dari era perluasan skala ke era keajaiban dan penemuan.
Saat ini, pelatihan model besar menghadapi berbagai tantangan: biaya pelatihan yang mencapai puluhan juta dolar, risiko kegagalan perangkat keras yang disebabkan oleh kompleksitas sistem, siklus pengujian yang panjang, dan keterbatasan sumber daya data dan pasokan energi. Masalah-masalah ini telah mendorong para peneliti untuk mengeksplorasi jalur teknologi baru.
Diantaranya, teknologi komputasi test-time telah mendapat perhatian luas. Pendekatan ini memungkinkan model AI untuk menghasilkan dan mengevaluasi beberapa opsi secara real time selama penggunaan, daripada memberikan satu jawaban secara langsung. Peneliti OpenAI Noam Brown membuat analogi yang jelas: meminta AI untuk memikirkan permainan poker selama 20 detik sama efektifnya dengan memperluas ukuran model dan waktu pelatihan sebanyak 100.000 kali.
Saat ini, banyak laboratorium AI ternama, termasuk OpenAI, Anthropic, xAI, dan DeepMind, secara aktif mengembangkan versi teknis mereka sendiri. OpenAI telah menerapkan teknologi ini pada model terbarunya o1, dan chief product officer Kevin Weil mengatakan bahwa melalui metode inovatif ini, mereka melihat banyak peluang untuk meningkatkan kinerja model.
Pakar industri percaya bahwa perubahan jalur teknologi ini dapat membentuk kembali lanskap kompetitif seluruh industri AI dan secara mendasar mengubah struktur permintaan perusahaan AI terhadap berbagai sumber daya. Hal ini menandai bahwa pengembangan AI memasuki tahap baru yang lebih memperhatikan peningkatan kualitas dibandingkan perluasan skala murni.
Terobosan teknologi baru telah membawa peluang pengembangan baru bagi industri AI dan juga mengusulkan pemikiran baru tentang arah pengembangan AI di masa depan. Editor Downcodes percaya bahwa dalam perkembangan masa depan, lebih banyak teknologi inovatif akan terus bermunculan di bidang AI, mendorong perkembangan teknologi AI ke tingkat yang lebih dalam, dan pada akhirnya memberikan manfaat bagi masyarakat manusia.