Universitas Teknologi Nanyang di Singapura telah mengembangkan teknologi AI yang luar biasa - SOLAMI, yang dapat menciptakan karakter virtual 3D yang hidup dan mencapai interaksi waktu nyata dalam lingkungan VR. Teknologi ini mendobrak batasan kaku karakter AI tradisional. Karakter virtual tidak hanya dapat memahami instruksi suara dan gerakan Anda, tetapi juga dapat berinteraksi satu sama lain dalam percakapan, tarian, dan bahkan tinju yang alami dan lancar. Hal ini menandai lompatan besar bagi teknologi AI di berbagai bidang seperti realitas virtual, hiburan sosial, serta pendidikan dan pelatihan, yang membawa perubahan revolusioner pada metode hiburan dan pembelajaran interaktif di masa depan.
Sebuah tim peneliti dari Nanyang Technological University di Singapura baru-baru ini meluncurkan teknologi AI bernama SOLAMI, yang dapat menciptakan karakter virtual 3D yang jelas yang tidak hanya dapat berinteraksi dengan Anda secara real time di dunia VR, tetapi juga memahami suara dan gerakan yang menemani Anda. Anda mengobrol, menari, dan bahkan bertinju! Ini hanyalah berkah untuk permainan, sosialisasi virtual, dan lajang!
SOLAMI adalah kerangka pemodelan aksi bahasa visi sosial (VLA) ujung ke ujung yang menggunakan teknologi pembelajaran mendalam untuk mengubah suara dan tindakan pengguna menjadi "bahasa" yang dapat dipahami oleh karakter virtual, dan menghasilkan respons suara dan tindakan yang sesuai. . Berbicara dalam bahasa manusia berarti dapat menerjemahkan suara dan gerakan Anda ke dalam bahasa yang dapat dipahami AI, dan kemudian membiarkan karakter virtual bereaksi sesuai dengan itu, seperti orang sungguhan, secara alami dan lancar, mengucapkan selamat tinggal pada perasaan kaku dan mekanis di masa lalu. karakter AI.
Untuk melatih "master sosial" AI ini, tim peneliti juga bersusah payah.
Mereka membuat kumpulan data sintetis yang disebut SynMSI, yang berisi data dialog, gerakan, dan ucapan dalam jumlah besar. Data ini tidak dikumpulkan begitu saja, namun dihasilkan melalui desain dan pemrosesan yang cermat menggunakan database tindakan yang ada dan model bahasa yang canggih.
Yang lebih menakjubkan lagi, SOLAMI juga dilengkapi dengan antarmuka VR, memungkinkan Anda berinteraksi dengan karakter virtual secara imersif.
Saat Anda memakai perangkat VR, Anda dapat melihat karakter virtual berdiri di depan Anda, mengobrol dan melakukan tindakan dengan Anda, seolah-olah Anda berada dalam dunia sosial nyata.
Tim peneliti menyatakan bahwa prospek penerapan teknologi SOLAMI sangat luas dan dapat menumbangkan banyak bidang seperti game, jejaring sosial virtual, serta pendidikan dan pelatihan di masa depan.
Misalnya, karakter NPC dalam game bisa menjadi lebih cerdas dan berinteraksi dengan Anda lebih seperti orang sungguhan; avatar virtual di platform sosial virtual bisa lebih dipersonalisasi, memungkinkan Anda menemukan teman yang berpikiran sama di dunia virtual; guru tampak menjadikan pembelajaran lebih hidup dan menarik.
Tentu saja SOLAMI masih dalam tahap penelitian, namun potensi besar yang ditunjukkannya telah membuat heboh kalangan teknologi.
Melalui serangkaian percobaan, tim peneliti membuktikan bahwa SOLAMI lebih unggul dari metode yang ada dalam hal kualitas gerakan, kualitas suara, dan kecepatan respons. Lebih penting lagi, hasil pengujian pengguna menunjukkan bahwa semua orang sangat puas dengan karakter virtual yang diciptakan oleh SOLAMI. Tampaknya era "AI istri/suami" benar-benar akan datang!
Sorotan inti dari teknologi SOLAMI:
Model VLA ujung ke ujung: Secara langsung mengubah suara dan tindakan pengguna menjadi suara karakter virtual dan respons tindakan untuk mencapai pengalaman interaktif yang alami dan lancar.
Kumpulan data sintetis SynMSI: Memanfaatkan kumpulan data tindakan yang ada dan model bahasa besar untuk secara otomatis menghasilkan sejumlah besar data dialog multi-modal multi-putaran untuk memecahkan masalah kurangnya data pelatihan.
Antarmuka VR yang imersif: Pengguna dapat berkomunikasi tatap muka dengan karakter virtual melalui peralatan VR dan merasakan pengalaman interaktif yang lebih realistis.
Lebih cerdas dan manusiawi: SOLAMI dapat menciptakan karakter virtual yang lebih cerdas dan realistis, menjadikan pengalaman interaktif virtual lebih "manusiawi".
Tim peneliti menyampaikan bahwa prospek penerapan teknologi SOLAMI sangat luas dan dapat digunakan di berbagai bidang seperti permainan, jejaring sosial virtual, pendidikan dan pelatihan, dll. Misalnya, dalam game, SOLAMI dapat menciptakan karakter NPC yang lebih cerdas dan realistis untuk meningkatkan pengalaman bermain pemain; dalam interaksi sosial virtual, SOLAMI dapat membantu pengguna membuat avatar yang lebih personal dan meningkatkan pengalaman interaksi sosial virtual; dapat membuat guru virtual lebih hidup dan meningkatkan efek pengajaran.
Tim peneliti juga melakukan serangkaian percobaan, dan hasilnya menunjukkan bahwa teknologi SOLAMI lebih unggul dari metode lain yang sudah ada dalam hal kualitas tindakan, kualitas suara, dan penundaan inferensi. Riset pengguna juga menunjukkan bahwa pengguna sangat puas dengan karakter virtual 3D yang dibangun dengan teknologi SOLAMI.
Saat ini, teknologi SOLAMI masih dalam tahap penelitian, namun potensi pengembangannya di masa depan sangat besar dan diharapkan dapat memberikan kita pengalaman interaktif virtual yang lebih cerdas dan manusiawi.
Beranda proyek: https://solami-ai.github.io/
Laporan teknis: https://arxiv.org/abs/2412.00174
Video pengenalan lengkap: https://www.bilibili.com/video/BV1D6zpYHEyc/
Secara keseluruhan, teknologi SOLAMI menunjukkan potensi besar AI dalam bidang interaksi virtual. Prospek penerapannya di masa depan patut untuk dinantikan, dan mungkin sepenuhnya mengubah cara kita menghibur, bersosialisasi, dan belajar. Mari kita tunggu dan lihat bagaimana teknologi ini akan membentuk dunia digital masa depan.