新加坡南洋理工大學研發出令人驚嘆的AI技術－SOLAMI，它能夠創造出栩栩如生的3D虛擬角色，並在VR環境中實現即時互動。這項技術突破了傳統AI角色的呆板限制，虛擬角色不僅能理解你的語音和動作指令，還能進行自然流暢的對話、舞蹈甚至拳擊等互動。這標誌著AI技術在虛擬實境、社交娛樂以及教育訓練等領域的重大飛躍，為未來互動娛樂和學習方式帶來革命性的改變。
新加坡南洋理工大學的研究團隊近日公開了一項名為SOLAMI的AI技術，它能創造出活靈活現的3D虛擬角色，不僅能在VR世界里和你實時互動，還能理解你的語音和動作，陪你聊天、跳舞甚至打拳擊! 這簡直是遊戲、虛擬社交和單身狗的福音啊!
SOLAMI是一個端到端的社會視覺-語言-動作（VLA）建模框架，它利用深度學習技術，將用戶的語音和動作轉換為虛擬角色可以理解的“語言”，並產生相應的語音和動作回應。說人話就是它能把你的語音和動作翻譯成AI聽得懂的語言，然後讓虛擬角色做出相應的反應，就像真人一樣自然流暢，告別以往AI角色的呆板和機械感。
為了訓練這個AI“社交高手”，研究團隊也是煞費苦心。
他們創建了一個名為SynMSI的合成資料集，裡麵包含了大量的對話、動作和語音資料。這些數據可不是隨便收集的，而是利用現有的動作資料庫和強大的語言模型，經過精心設計和處理生成的。
更厲害的是，SOLAMI也搭載了一個VR介面，讓你能身臨其境地和虛擬角色互動。
你戴上VR設備，就能看到虛擬角色站在你面前，跟你聊天、做動作，彷彿置身於真實的社交場景中。
研究團隊表示，SOLAMI技術應用前景非常廣闊，未來可能顛覆遊戲、虛擬社交和教育訓練等多個領域。
例如，遊戲裡的NPC角色可以變得更智能，更像真人一樣和你互動;虛擬社交平台上的虛擬化身可以更個性化，讓你在虛擬世界裡也能找到志同道合的朋友;甚至還能創造出虛擬老師，讓學習變得更生動有趣。
當然，SOLAMI目前還處於研究階段，但它展現出的巨大潛力已經讓科技圈為之振奮。
研究團隊透過一系列實驗，證明了SOLAMI在動作品質、語音品質和反應速度上都比現有的方法更勝一籌。 更重要的是，使用者測試結果顯示，大家對SOLAMI創造的虛擬角色都非常滿意，看來「AI老婆/老公」的時代真的要來了!
SOLAMI技術的核心亮點:
端對端VLA模型: 將使用者的語音和動作直接轉換為虛擬角色的語音和動作回應，實現自然流暢的互動體驗。
SynMSI合成資料集: 利用現有的動作資料集和大型語言模型，自動產生大量多輪多模態對話數據，解決訓練資料缺乏的問題。
沉浸式VR介面: 使用者可以透過VR設備與虛擬角色進行面對面的交流，體驗更真實的互動感受。
更聰明、更人性化: SOLAMI可以創造出更聰明、更逼真的虛擬角色，讓虛擬互動體驗更具「人情味」。
研究團隊表示，SOLAMI技術的應用前景十分廣闊，它可以用於遊戲、虛擬社交、教育訓練等多個領域。 例如，在遊戲中，SOLAMI可以創造出更聰明、更逼真的NPC角色，提升玩家的遊戲體驗; 在虛擬社交中，SOLAMI可以幫助用戶創建更個性化的虛擬化身，增強虛擬社交的沉浸感; 在教育培訓中，SOLAMI可以創造出更生動的虛擬教師，提升教學效果。
研究團隊還進行了一系列實驗，結果表明，SOLAMI技術在動作品質、語音品質和推理延遲方面均優於現有的其他方法。 使用者研究也表明，使用者對SOLAMI技術所建構的3D虛擬角色的滿意度非常高。
目前，SOLAMI技術仍處於研究階段，但其未來發展潛力巨大，可望為我們帶來更智慧、更人性化的虛擬互動體驗。
專案首頁:https://solami-ai.github.io/
技術報告:https://arxiv.org/abs/2412.00174
完整介紹影片:https://www.bilibili.com/video/BV1D6zpYHEyc/
總而言之，SOLAMI技術展現了AI在虛擬互動領域的巨大潛力，其未來應用前景值得期待，或將徹底改變我們娛樂、社交和學習的方式。 讓我們拭目以待，看看這項技術將如何塑造未來的數位世界。