一个名为“The Matrix”的AI基础世界模拟器震撼发布!由全华人团队打造,该模拟器能够无限生成高保真720p真实场景视频,并支持实时交互,如同进入电影《黑客帝国》的虚拟世界。用户可通过简单的按键控制,在沙漠、草原、城市等多种场景中自由穿梭,体验每秒16帧的流畅动态画面。其核心技术亮点在于前所未有的帧级控制和零样本泛化能力,即使在未经训练的环境中也能准确生成场景,带来沉浸式虚拟体验。该项目融合了3A级游戏数据和大量现实场景视频,并通过交互模块、移窗去噪过程模型和流一致性模型的巧妙结合,实现了实时生成。
该模拟器提供14分钟演示视频,实际可持续生成长达一小时的内容。 项目团队成员来自阿里巴巴、香港大学等知名机构,其技术突破在于学习能力,能够在未见过的环境中进行准确的生成,例如模拟宝马X3在不同环境下的行驶场景,甚至“车在水中游泳”等奇妙画面。未来,团队将继续努力,为用户带来更逼真的虚拟体验。项目入口及论文链接已提供,欢迎体验和深入了解。