Editor Downcodes akan mengajak Anda mempelajari terobosan terbaru para peneliti Meta! Mereka menggunakan model Transformer untuk mengatasi masalah lama yang belum terpecahkan di bidang sistem dinamis - menemukan fungsi Lyapunov global. Penelitian ini tidak hanya menunjukkan kemampuan yang kuat dari model bahasa berskala besar dalam penalaran matematis yang kompleks, namun yang lebih penting, penelitian ini mengusulkan metode "generasi terbalik" inovatif yang secara efektif memecahkan masalah kurangnya data pelatihan dan membuka jalan bagi AI dalam penemuan ilmiah. .Aplikasi di dalamnya telah membuka jalan baru. Hasil penelitian telah dipublikasikan di arXiv, dan alamat makalah telah diberikan.
Model bahasa besar berkinerja baik dalam banyak tugas, namun kemampuan penalarannya masih kontroversial. Para peneliti di Meta baru-baru ini menerbitkan sebuah makalah yang menunjukkan bagaimana mereka menggunakan model Transformer untuk memecahkan masalah lama dalam matematika: menemukan fungsi Lyapunov global dari sistem dinamik.
Fungsi Lyapunov dapat menentukan apakah suatu sistem dinamis stabil. Misalnya, dapat digunakan untuk memprediksi stabilitas jangka panjang dari masalah tiga benda, yaitu lintasan jangka panjang tiga benda langit di bawah pengaruh gravitasi. . Namun, belum ada metode umum yang ditemukan untuk menurunkan fungsi Lyapunov, dan fungsi terkaitnya hanya diketahui pada beberapa sistem.
Untuk mengatasi masalah ini, para peneliti di Meta melatih model Transformer urutan-ke-urutan untuk memprediksi fungsi Lyapunov dari sistem tertentu. Mereka secara inovatif menggunakan pendekatan "generasi terbalik" untuk membuat kumpulan data pelatihan besar yang berisi sistem dinamis stabil dan fungsi Lyapunov yang sesuai.
Metode tradisional "generasi maju" dimulai dari sistem yang dihasilkan secara acak dan mencoba menghitung fungsi Lyapunov-nya. Metode ini tidak efisien dan hanya dapat menangani jenis sistem sederhana tertentu. Metode "generasi terbalik" pertama-tama menghasilkan fungsi Lyapunov secara acak dan kemudian membangun sistem stabil yang sesuai dengannya, sehingga melewati masalah penghitungan fungsi Lyapunov dan menghasilkan data pelatihan yang lebih beragam.
Para peneliti menemukan bahwa model Transformer yang dilatih pada kumpulan data "generasi terbalik" mencapai akurasi yang hampir sempurna pada set pengujian (99%) dan juga bekerja dengan baik pada set pengujian di luar distribusi (73%). Yang lebih mengejutkan lagi adalah dengan menambahkan sejumlah kecil (300) contoh sederhana "generasi maju" ke dalam set pelatihan, keakuratan model dapat ditingkatkan lebih lanjut hingga 84%, yang menunjukkan bahwa sejumlah kecil solusi yang diketahui pun dapat secara signifikan meningkatkan akurasi model.
Untuk menguji kemampuan model dalam menemukan fungsi Lyapunov baru, para peneliti menghasilkan puluhan ribu sistem acak dan menggunakan model tersebut untuk membuat prediksi. Hasilnya menunjukkan bahwa model ini sepuluh kali lebih berhasil dalam menemukan fungsi Lyapunov pada sistem polinomial dibandingkan metode canggih, dan juga dapat menemukan fungsi Lyapunov pada sistem non-polinomial, sesuatu yang tidak dapat dilakukan oleh algoritma saat ini a kecil.
Para peneliti juga membandingkan model tersebut dengan manusia matematikawan, mereka mengundang 25 siswa master matematika untuk melakukan tes, dan hasilnya menunjukkan bahwa akurasi model jauh lebih tinggi dibandingkan manusia.
Penelitian ini menunjukkan bahwa model Transformer dapat dilatih untuk memecahkan masalah penalaran matematis yang kompleks dan metode "generasi invers" dapat secara efektif membuat kumpulan data pelatihan yang mengatasi keterbatasan metode tradisional. Di masa depan, para peneliti berencana untuk menerapkan metode ini pada masalah matematika lainnya dan mengeksplorasi lebih banyak kemungkinan AI dalam penemuan ilmiah.
Alamat makalah: https://arxiv.org/pdf/2410.08304
Secara keseluruhan, penelitian Meta memberikan ide dan metode baru bagi AI untuk memecahkan masalah ilmiah yang kompleks, dan juga menunjukkan bahwa AI akan memainkan peran yang semakin penting dalam bidang penelitian ilmiah. Editor Downcodes akan terus memperhatikan perkembangan terkini di bidang AI dan memberikan lebih banyak laporan menarik kepada pembaca!