Dalam beberapa tahun terakhir, peningkatan kinerja model bahasa besar (LLM) terutama mengandalkan ekspansi skala, yaitu, meningkatkan volume data dan daya komputasi. Namun, model ini secara bertahap mencapai hambatan. Pakar industri menunjukkan bahwa sulit untuk membuat kemajuan yang signifikan hanya dengan mengandalkan strategi "lebih besar dan lebih baik", dan terobosan teknologi baru sudah dekat. Artikel ini akan mengeksplorasi tantangan yang dihadapi bidang AI saat ini dan bagaimana teknologi "komputasi waktu tes" yang muncul dapat membawa arah baru ke pengembangan AI.
Dengan perkembangan cepat AI generatif, persepsi tradisional industri tentang "lebih besar lebih baik" berubah. Banyak ilmuwan AI top baru -baru ini mengatakan bahwa metode meningkatkan kinerja AI dengan hanya meningkatkan jumlah data dan daya komputasi mendekati bottleneck, dan terobosan teknologi baru muncul.
Ilya Sutskever, salah satu pendiri Superintelligence dan Openai yang aman, baru-baru ini menyatakan pendapatnya bahwa metode pra-pelatihan tradisional telah memasuki periode platform kinerja. Pernyataan ini sangat menarik karena itu adalah metode pra-pelatihan skala besar yang ia anjurkan pada hari-hari awal yang melahirkan chatgpt. Hari ini, ia mengatakan bahwa bidang AI telah pindah dari "Era Era Ekspansi Skala" ke "Era Era Mukjizat dan Penemuan".
Saat ini, pelatihan model skala besar menghadapi banyak tantangan: biaya pelatihan puluhan juta dolar, risiko kegagalan perangkat keras yang disebabkan oleh kompleksitas sistem, siklus uji panjang, dan keterbatasan sumber daya data dan pasokan energi. Pertanyaan -pertanyaan ini mendorong para peneliti untuk mengeksplorasi jalur teknologi baru.
Di antara mereka, teknologi "Test-Time Compute" telah menarik perhatian luas. Pendekatan ini memungkinkan model AI untuk menghasilkan dan mengevaluasi beberapa solusi secara real time selama penggunaan daripada memberikan jawaban tunggal secara langsung. Peneliti Openai Noam Brown membuat analogi gambar: Membiarkan AI berpikir selama 20 detik dalam kartu bermain, yang sebanding dengan memperluas skala model dan waktu pelatihan sebesar 100.000 kali.
Saat ini, beberapa laboratorium AI teratas termasuk Openai, Anthropic, XAI dan DeepMind secara aktif mengembangkan versi teknologi masing -masing. Openai telah menerapkan teknologi ini dalam model terbarunya "O1", dan Chief Product Officer Kevin Weil mengatakan bahwa melalui pendekatan inovatif ini, mereka telah melihat sejumlah besar peluang untuk meningkatkan kinerja model.
Pakar industri percaya bahwa transformasi rute teknologi ini dapat membentuk kembali lanskap kompetitif seluruh industri AI dan pada dasarnya mengubah struktur permintaan perusahaan AI untuk berbagai sumber daya. Ini menandai bahwa pengembangan AI memasuki tahap baru di mana ia lebih fokus pada peningkatan kualitas daripada sekadar skala ekspansi.
Singkatnya, munculnya teknologi baru seperti "komputasi waktu tes" menandai tahap baru dalam pengembangan AI, yaitu, lebih memperhatikan peningkatan kinerja model daripada sekadar skala ekspansi. Ini akan mengubah lanskap kompetitif industri AI dan mempromosikan teknologi AI untuk berkembang dalam arah yang lebih halus dan cerdas. Di masa depan, terobosan dalam teknologi AI akan lebih bergantung pada inovasi algoritma dan pemahaman esensi dari model, daripada akumulasi daya komputasi sederhana.