一個名為「The Matrix」的AI基礎世界模擬器震撼發表!由全華人團隊打造,該模擬器能夠無限生成高保真720p真實場景視頻,並支持實時交互,如同進入電影《黑客帝國》的虛擬世界。使用者可透過簡單的按鍵控制,在沙漠、草原、城市等多種場景中自由穿梭,體驗每秒16幀的流暢動態畫面。其核心技術亮點在於前所未有的幀級控制和零樣本泛化能力,即使在未經訓練的環境中也能準確產生場景,帶來沉浸式虛擬體驗。該專案融合了3A級遊戲數據和大量現實場景視頻,並透過互動模組、移窗去噪過程模型和串流一致性模型的巧妙結合,實現了即時生成。
該模擬器提供14分鐘演示視頻,實際可持續生成長達一小時的內容。 計畫團隊成員來自阿里巴巴、香港大學等知名機構,其技術突破在於學習能力,能夠在未見過的環境中進行準確的生成,例如模擬寶馬X3在不同環境下的行駛場景,甚至「車在水中游泳”等奇妙畫面。未來,團隊將繼續努力,為使用者帶來更逼真的虛擬體驗。專案入口及論文連結已提供,歡迎體驗與深入了解。