OpenAI dan DeepMind, dua raksasa kecerdasan buatan, memiliki perbedaan signifikan dalam penelitian mereka mengenai hukum penskalaan (Scaling Laws) model bahasa besar (LLM). Scaling Laws bertujuan untuk memprediksi dampak perubahan parameter model, volume data, dan volume perhitungan terhadap kinerja model. Hasil penelitiannya akan sangat mempengaruhi arah pengembangan kecerdasan buatan di masa depan dan berdampak besar pada masa depan hidup berdampingan antara manusia dan mesin. Artikel ini akan mengeksplorasi secara mendalam berbagai perspektif, metode, dan kontribusi masing-masing kedua perusahaan dalam penelitian Scaling Laws, dan secara singkat memperkenalkan kemajuan penelitian dalam negeri yang relevan.
OpenAI dan DeepMind memiliki pandangan dan metode yang berbeda dalam penelitian Scaling Laws. Scaling Laws dapat memprediksi perubahan kerugian pada model besar ketika jumlah parameter, data, dan penghitungan berubah. Persaingan mereka akan mendorong pengembangan kecerdasan buatan dan mempengaruhi masa depan hidup berdampingan antara manusia dan mesin. Dalam proses pra-pelatihan model bahasa besar, terdapat trade-off antara ukuran model, volume data, dan biaya pelatihan. Scaling Laws dapat membantu mengoptimalkan keputusan desain. DeepMind mengusulkan agar ukuran model dan volume data harus berskala dalam proporsi yang sama, sementara OpenAI lebih memilih model yang lebih besar. DeepMind mengembangkan AlphaGo dan AlphaFold, yang menunjukkan potensi pembelajaran penguatan mendalam dan jaringan saraf, sementara OpenAI mengembangkan rangkaian model GPT, yang menunjukkan kemampuan luar biasa dalam model generatif. Kesimpulan penelitian menunjukkan bahwa ketiga faktor yang mempengaruhi kinerja model berinteraksi satu sama lain, dan model Chinchilla DeepMind memiliki kinerja yang sangat baik. Intelijen Baichuan Domestik dan Model Besar Mingde juga berkontribusi pada penelitian tentang Hukum Penskalaan. DeepMind mengusulkan metode klasifikasi Levels AGI, yang mengungkapkan berbagai tahap perkembangan kecerdasan buatan.Persaingan antara OpenAI dan DeepMind dalam penelitian Scaling Laws tidak hanya mendorong pengembangan teknologi kecerdasan buatan, tetapi juga memberikan pengalaman berharga untuk desain dan optimalisasi model besar masa depan. Jalur dan hasil penelitian yang berbeda dari kedua belah pihak telah bersama-sama membangun sistem pengetahuan yang lebih kaya dan komprehensif di bidang kecerdasan buatan, yang pada akhirnya akan bermanfaat bagi seluruh industri dan masyarakat.