Sebuah studi baru MIT telah mengungkapkan kesamaan yang mencolok antara struktur internal model bahasa besar (LLM) dan otak manusia, sehingga memicu perdebatan sengit di bidang kecerdasan buatan. Editor Downcodes akan menjelaskan secara rinci temuan terobosan penelitian ini dan signifikansinya bagi pengembangan AI di masa depan. Melalui analisis mendalam terhadap ruang aktivasi LLM, para peneliti menemukan fitur struktural tiga tingkat. Penemuan fitur-fitur ini akan membantu kita lebih memahami mekanisme kerja LLM dan memberikan arah baru untuk pengembangan teknologi AI di masa depan.
AI sebenarnya sudah mulai "menumbuhkan otak"?! Penelitian terbaru dari MIT menunjukkan bahwa struktur internal model bahasa besar (LLM) ternyata sangat mirip dengan otak manusia!
Studi ini menggunakan teknologi autoencoder renggang untuk melakukan analisis mendalam terhadap ruang aktivasi LLM dan menemukan tiga tingkat fitur struktural, yang luar biasa:
Pertama, pada tingkat mikroskopis, para peneliti menemukan keberadaan struktur mirip “kristal”. Wajah "kristal" ini terdiri dari jajaran genjang atau trapesium, mirip dengan analogi kata yang sudah dikenal, seperti "pria:wanita::raja:ratu".
Yang lebih mengejutkan lagi adalah struktur "kristal" ini menjadi lebih jelas setelah menghilangkan beberapa faktor interferensi yang tidak relevan (seperti panjang kata) melalui teknik analisis diskriminan linier.
Kedua, pada tingkat meso, peneliti menemukan bahwa ruang aktivasi LLM memiliki struktur modular yang mirip dengan divisi fungsional otak manusia.
Misalnya, fitur-fitur yang berkaitan dengan matematika dan pengkodean berkelompok membentuk "lobus" yang mirip dengan lobus fungsional otak manusia. Melalui analisis kuantitatif terhadap berbagai indikator, para peneliti mengkonfirmasi lokalitas spasial dari “lobus” ini, menunjukkan bahwa fitur-fitur yang muncul bersamaan juga lebih terkelompok secara spasial, jauh melampaui apa yang diharapkan dari distribusi acak.
Pada tingkat makro, para peneliti menemukan bahwa keseluruhan struktur cloud titik fitur LLM tidak isotropik, tetapi menyajikan distribusi nilai eigen hukum pangkat, dan distribusi ini paling jelas terlihat di lapisan tengah.
Para peneliti juga menganalisis secara kuantitatif entropi pengelompokan pada tingkat yang berbeda dan menemukan bahwa entropi pengelompokan lapisan tengah lebih rendah, menunjukkan bahwa representasi fitur lebih terkonsentrasi, sedangkan entropi pengelompokan lapisan awal dan akhir lebih tinggi, menunjukkan bahwa fitur tersebut representasi menjadi lebih tersebar.
Penelitian ini memberi kita perspektif baru dalam memahami mekanisme internal model bahasa besar, dan juga meletakkan dasar bagi pengembangan sistem AI yang lebih kuat dan cerdas di masa depan.
Hasil penelitian ini menarik karena tidak hanya memperdalam pemahaman kita tentang model bahasa berskala besar, namun juga menunjukkan arah baru bagi pengembangan kecerdasan buatan di masa depan. Editor Downcodes percaya bahwa dengan kemajuan teknologi yang berkelanjutan, kecerdasan buatan akan menunjukkan potensi yang kuat di lebih banyak bidang dan membawa masa depan yang lebih baik bagi masyarakat manusia.