Arsitektur model "Titans" terbaru yang dirilis oleh Google Research telah membuat gebrakan di bidang kecerdasan buatan dengan terobosan panjang konteks 2 juta Token. Desain inovatif ini mensimulasikan sistem memori manusia, menggabungkan respons cepat memori jangka pendek dengan daya tahan memori jangka panjang, dan secara cerdik menggunakan mekanisme perhatian untuk mencapai pemrosesan informasi yang efisien. Model ini menunjukkan keuntungan yang signifikan dalam tugas pemrosesan urutan panjang, dan bahkan melampaui model seperti GPT-4 dengan jumlah parameter yang jauh lebih tinggi dalam beberapa skenario aplikasi.
Google Research baru-baru ini merilis arsitektur model seri "Titans" yang inovatif, mencapai terobosan panjang konteks 2 juta Token melalui desain bionik, dan berencana untuk membuka teknologi terkait sumber terbuka di masa depan.
Inovasi inti dari arsitektur ini adalah pengenalan modul memori jangka panjang saraf dalam, yang desainnya terinspirasi oleh sistem memori manusia. Titans secara cerdik menggabungkan kemampuan respons cepat dari memori jangka pendek dengan karakteristik persistensi memori jangka panjang, sambil menggunakan mekanisme perhatian untuk memproses konteks langsung, membentuk sistem pemrosesan informasi yang efisien.
Menurut Google, Titans menunjukkan keunggulan signifikan dalam tugas pemrosesan urutan panjang. Arsitektur ini telah mencapai kemajuan terobosan dalam pemodelan bahasa dan prediksi deret waktu. Yang lebih penting adalah bahwa dalam beberapa skenario aplikasi, Titans bahkan melampaui model seperti GPT-4 dengan jumlah parameter puluhan kali lipat.
Dengan komitmen Google terhadap teknologi terkait sumber terbuka, kemunculan Titans dapat membawa arah pengembangan baru untuk pemrosesan teks panjang di bidang AI. Desain inovatif yang menggabungkan prinsip biointelligence ini menunjukkan kemungkinan mengurangi jumlah parameter model sekaligus meningkatkan efisiensi pemrosesan.
Rencana open source arsitektur model Titans akan memberikan kontribusi besar bagi komunitas kecerdasan buatan, mendorong pengembangan teknologi pemrosesan teks panjang, dan diharapkan dapat melahirkan lebih banyak aplikasi inovatif. Konsep desain bioniknya juga memberikan ide dan arahan baru untuk desain model AI masa depan.