มหาวิทยาลัยเทคโนโลยีนันยางในสิงคโปร์ได้พัฒนาเทคโนโลยี AI ที่น่าทึ่ง - SOLAMI ซึ่งสามารถสร้างตัวละครเสมือนจริง 3 มิติที่เหมือนจริงและบรรลุการโต้ตอบแบบเรียลไทม์ในสภาพแวดล้อม VR เทคโนโลยีนี้ทลายข้อจำกัดที่เข้มงวดของตัวละคร AI แบบดั้งเดิมไม่เพียงแต่สามารถเข้าใจเสียงและคำสั่งการเคลื่อนไหวของคุณเท่านั้น แต่ยังสามารถโต้ตอบกันในการสนทนา การเต้นรำ และแม้แต่การชกมวยที่เป็นธรรมชาติและราบรื่น นี่เป็นการก้าวกระโดดครั้งสำคัญสำหรับเทคโนโลยี AI ในสาขาต่างๆ เช่น ความเป็นจริงเสมือน ความบันเทิงทางสังคม การศึกษาและการฝึกอบรม ซึ่งนำมาซึ่งการเปลี่ยนแปลงครั้งยิ่งใหญ่สำหรับความบันเทิงเชิงโต้ตอบและวิธีการเรียนรู้ในอนาคต
ทีมวิจัยจากมหาวิทยาลัยเทคโนโลยีนันยางในสิงคโปร์เพิ่งเปิดตัวเทคโนโลยี AI ที่เรียกว่า SOLAMI ซึ่งสามารถสร้างตัวละครเสมือนจริง 3 มิติที่สดใสซึ่งไม่เพียงแต่สามารถโต้ตอบกับคุณแบบเรียลไทม์ในโลก VR เท่านั้น แต่ยังเข้าใจเสียงและการเคลื่อนไหวของคุณเพื่อติดตามคุณไปด้วย คุณแชท เต้นรำ และแม้กระทั่งชกมวย! นี่เป็นเพียงพรสำหรับเกม การเข้าสังคมเสมือนจริง และคนโสด!
SOLAMI เป็นเฟรมเวิร์กการสร้างแบบจำลองด้านการมองเห็น ภาษา การกระทำ (VLA) ทางสังคมแบบครบวงจรที่ใช้เทคโนโลยีการเรียนรู้เชิงลึกเพื่อแปลงเสียงและการกระทำของผู้ใช้ให้เป็น "ภาษา" ที่ตัวละครเสมือนสามารถเข้าใจ และสร้างการตอบสนองด้วยเสียงและการกระทำที่สอดคล้องกัน . การพูดในภาษามนุษย์หมายความว่าสามารถแปลเสียงและการเคลื่อนไหวของคุณเป็นภาษาที่ AI สามารถเข้าใจได้ จากนั้นปล่อยให้ตัวละครเสมือนตอบสนองตามนั้น เช่นเดียวกับคนจริง ๆ อย่างเป็นธรรมชาติและราบรื่น บอกลาความรู้สึกที่เข้มงวดและกลไกของอดีต อักขระเอไอ
ในการฝึกฝน AI "ปรมาจารย์ด้านสังคม" ทีมวิจัยก็ใช้ความพยายามอย่างมากเช่นกัน
พวกเขาสร้างชุดข้อมูลสังเคราะห์ที่เรียกว่า SynMSI ซึ่งประกอบด้วยข้อมูลบทสนทนา การเคลื่อนไหว และคำพูดจำนวนมหาศาล ข้อมูลเหล่านี้ไม่ได้ถูกรวบรวมแบบไม่เป็นทางการ แต่ถูกสร้างขึ้นผ่านการออกแบบและการประมวลผลอย่างระมัดระวังโดยใช้ฐานข้อมูลการดำเนินการที่มีอยู่และแบบจำลองภาษาที่มีประสิทธิภาพ
สิ่งที่น่าทึ่งยิ่งกว่านั้นคือ SOLAMI ยังมาพร้อมกับอินเทอร์เฟซ VR ที่ให้คุณโต้ตอบกับตัวละครเสมือนจริงได้อย่างดื่มด่ำ
เมื่อคุณสวมอุปกรณ์ VR คุณจะเห็นตัวละครเสมือนยืนอยู่ตรงหน้าคุณ สนทนาและทำกิจกรรมกับคุณ ราวกับว่าคุณอยู่ในฉากโซเชียลจริงๆ
ทีมวิจัยระบุว่าแนวโน้มการใช้งานเทคโนโลยี SOLAMI นั้นกว้างมาก และอาจล้มล้างสาขาต่างๆ เช่น เกม เครือข่ายโซเชียลเสมือน และการศึกษาและการฝึกอบรมในอนาคต
ตัวอย่างเช่น ตัวละคร NPC ในเกมสามารถฉลาดขึ้นและมีปฏิสัมพันธ์กับคุณเหมือนคนจริง ๆ มากขึ้น อวตารเสมือนบนแพลตฟอร์มโซเชียลเสมือนสามารถปรับให้เป็นส่วนตัวมากขึ้น ทำให้คุณสามารถค้นหาเพื่อนที่มีใจเดียวกันในโลกเสมือนจริงได้ ครูดูเหมือนจะทำให้การเรียนรู้มีชีวิตชีวาและน่าสนใจยิ่งขึ้น
แน่นอนว่า SOLAMI ยังอยู่ในขั้นตอนการวิจัย แต่ศักยภาพมหาศาลที่แสดงให้เห็นได้สร้างความตื่นตาตื่นใจให้กับแวดวงเทคโนโลยีแล้ว
ทีมวิจัยได้พิสูจน์ว่า SOLAMI เหนือกว่าวิธีการที่มีอยู่ในแง่ของคุณภาพการเคลื่อนไหว คุณภาพเสียง และความเร็วในการตอบสนองจากการทดลองหลายชุด ที่สำคัญผลการทดสอบผู้ใช้แสดงให้เห็นว่าทุกคนพอใจกับตัวละครเสมือนจริงที่สร้างโดย SOLAMI ดูเหมือนว่ายุคของ "ภรรยา/สามี AI" กำลังจะมาถึงจริงๆ!
จุดเด่นหลักของเทคโนโลยี SOLAMI:
โมเดล VLA แบบครบวงจร: แปลงเสียงและการกระทำของผู้ใช้โดยตรงเป็นการตอบสนองต่อเสียงและการกระทำของตัวละครเสมือนโดยตรง เพื่อให้ได้ประสบการณ์การโต้ตอบที่เป็นธรรมชาติและราบรื่น
ชุดข้อมูลสังเคราะห์ SynMSI: ใช้ชุดข้อมูลการดำเนินการที่มีอยู่และแบบจำลองภาษาขนาดใหญ่เพื่อสร้างข้อมูลบทสนทนาหลายรูปแบบหลายรอบจำนวนมากโดยอัตโนมัติ เพื่อแก้ปัญหาการขาดข้อมูลการฝึกอบรม
อินเทอร์เฟซ VR ที่สมจริง: ผู้ใช้สามารถสื่อสารแบบเห็นหน้ากับตัวละครเสมือนจริงผ่านอุปกรณ์ VR และสัมผัสประสบการณ์การโต้ตอบที่สมจริงยิ่งขึ้น
ฉลาดขึ้นและมีมนุษยธรรมมากขึ้น: SOLAMI สามารถสร้างตัวละครเสมือนจริงที่ชาญฉลาดและสมจริงยิ่งขึ้น ทำให้ประสบการณ์การโต้ตอบเสมือนจริง "เป็นมนุษย์" มากขึ้น
ทีมวิจัยกล่าวว่าแนวโน้มการประยุกต์ใช้เทคโนโลยี SOLAMI นั้นกว้างมาก และสามารถใช้ได้ในหลายสาขา เช่น เกม เครือข่ายสังคมออนไลน์ การศึกษาและการฝึกอบรม เป็นต้น ตัวอย่างเช่น ในเกม SOLAMI สามารถสร้างตัวละคร NPC ที่ชาญฉลาดและสมจริงยิ่งขึ้นเพื่อปรับปรุงประสบการณ์การเล่นเกมของผู้เล่น SOLAMI สามารถช่วยให้ผู้ใช้สร้างอวตารที่เป็นส่วนตัวมากขึ้น และปรับปรุงการโต้ตอบทางสังคมเสมือนจริง ในด้านการศึกษาและการฝึกอบรม สามารถสร้างครูเสมือนที่มีชีวิตชีวามากขึ้นและปรับปรุงผลการสอนได้
ทีมวิจัยยังได้ทำการทดลองหลายชุด และผลการวิจัยพบว่าเทคโนโลยี SOLAMI เหนือกว่าวิธีการอื่นๆ ที่มีอยู่ในแง่ของคุณภาพการดำเนินการ คุณภาพเสียง และความล่าช้าในการอนุมาน การวิจัยผู้ใช้ยังแสดงให้เห็นว่าผู้ใช้พอใจกับตัวละครเสมือนจริง 3 มิติที่สร้างขึ้นด้วยเทคโนโลยี SOLAMI
ปัจจุบัน เทคโนโลยี SOLAMI ยังอยู่ในขั้นตอนการวิจัย แต่ศักยภาพในการพัฒนาในอนาคตนั้นมีมหาศาล และคาดว่าจะทำให้เราได้รับประสบการณ์เสมือนจริงแบบโต้ตอบที่ชาญฉลาดและมีมนุษยธรรมมากขึ้น
หน้าแรกของโครงการ: https://solami-ai.github.io/
รายงานทางเทคนิค: https://arxiv.org/abs/2412.00174
วิดีโอแนะนำฉบับสมบูรณ์: https://www.bilibili.com/video/BV1D6zpYHEyc/
โดยรวมแล้ว เทคโนโลยี SOLAMI แสดงให้เห็นถึงศักยภาพมหาศาลของ AI ในด้านปฏิสัมพันธ์เสมือนจริง โอกาสในการใช้งานในอนาคตนั้นคุ้มค่ากับการรอคอย และอาจเปลี่ยนแปลงวิธีที่เราให้ความบันเทิง พบปะทางสังคม และเรียนรู้ไปอย่างสิ้นเชิง มารอดูกันว่าเทคโนโลยีนี้จะกำหนดทิศทางของโลกดิจิทัลแห่งอนาคตอย่างไร