谷歌DeepMind团队发布了一款名为“Generative Omnimatte”的AI模型，它能够像一位技艺精湛的剪辑师一样，将视频分解成多个图层，精确分离人物、物体和背景，甚至可以“脑补”被遮挡的部分，实现各种炫酷的特效。这项技术突破了传统视频抠图技术的限制，无需绿幕或深度信息，就能轻松完成复杂的视频编辑任务。告别繁琐的操作，让视频剪辑变得简单易上手，人人都能成为视频剪辑大师！
还记得电影里那些酷炫的特效吗?物体凭空消失、场景瞬间变换，是不是让你大呼过瘾? 现在，谷歌DeepMind团队研发出了一款名为“Generative Omnimatte”的AI模型，让这些特效不再是电影的专属! 这款AI就像一位技艺高超的剪辑师，可以将视频分解成多个图层，每个图层包含一个完整的物体及其产生的阴影、倒影等效果。
传统的视频抠图技术通常依赖于绿幕拍摄或精确的深度信息，操作起来非常复杂。 而这款AI模型则完全摆脱了这些限制，它不需要任何额外的信息，就能将视频中的人物、物体、背景完美分离，甚至可以“脑补”出被遮挡的部分，效果令人惊叹!
这款AI模型的核心是一个名为“Casper”的视频移除模型。 它就像一个神奇的橡皮擦，可以精准地擦除视频中任何你指定的物体，连带着它的阴影、倒影也一并消失，而背景却完好无损。
更重要的是，它还能根据用户的需求，将物体与背景重新组合，实现各种创意效果，例如将人物从一个场景“瞬移”到另一个场景，或者改变物体的运动速度，甚至让时间倒流!
有了这个神器，以后做视频剪辑就太轻松了，想加什么特效就加什么特效，完全不用担心技术问题，人人都能成为剪辑大师! 比如你想把朋友从家里“瞬移”到海边，只需要用 Casper 把朋友抠出来，再放到海边的背景上就搞定了，是不是很简单? 你甚至可以让朋友在视频里倒着走路，或者把朋友复制成好几个，一起跳舞，想想就觉得很有意思!
当然，Generative Omnimatte 现在还处于研发阶段，还有一些小 bug 需要解决。 比如，如果视频里有多个很相似的物体，AI 就可能会分不清谁是谁，把它们搞混。 另外，如果物体发生了形变，比如一根被压弯的杆子，AI 就不知道该怎么处理了。 不过相信谷歌 DeepMind 团队很快就能解决这些问题，让 Generative Omnimatte 变得更加完美!
项目地址：https://gen-omnimatte.github.io/
论文地址：https://arxiv.org/pdf/2411.16683
Generative Omnimatte为视频编辑带来了革命性的改变，未来它将为我们带来更多令人惊喜的应用和特效，让我们拭目以待！