谷歌研究院最新发布的ReCapture技术,为视频编辑领域带来了一场革新。它能够根据现有视频,生成拥有自定义摄像机轨迹的新版本,实现从不同视角观看视频内容,同时完美保留原视频中人物和场景的原始运动状态。这项技术如同拥有魔法般,能够将一段普通的视频,转化为多角度、多视角的精彩影像。
谷歌研究院最近推出了一项名为ReCapture的全新技术,这项技术可以让你从全新的视角重新体验你自己的视频。ReCapture技术可以根据用户提供的视频,生成一个带有自定义摄像机轨迹的新版本,这意味着你可以从原本视频中没有的视角观看视频内容,并且还能保持视频中人物和场景的原始运动。
ReCapture 就像是一位神奇的剪辑师,可以根据你提供的视频,生成一个带有全新视角的新版本。 比如说,你用手机拍了一段狗狗玩耍的视频,ReCapture 可以帮你生成一段从狗狗视角拍摄的视频,是不是很神奇?
那么, ReCapture 究竟是如何实现这种“魔法”的呢? 其实,它背后的原理并不复杂。它首先会利用多视角扩散模型或点云渲染技术,根据你想要的新视角,生成一个粗略的视频。 这个粗略视频就像是一块未经雕琢的璞玉,画面可能不完整,时间也不连贯,就像喝醉了酒一样摇摇晃晃。
接下来,ReCapture 会祭出它的秘密武器——“遮罩视频微调”技术,对这个粗略视频进行“精雕细琢”。 这个技术就像是一位技艺高超的工匠,会用两种特殊的工具——空间 LoRA 和时间 LoRA,对视频进行修复和优化。 空间 LoRA 就像是一位“美容师”,负责学习原始视频中的人物和场景信息,让画面更加清晰美观。 而时间 LoRA 则是一位“节奏大师”,负责学习新视角下的场景运动,让视频播放更加流畅自然。
经过这两位“大师”的联手打造,粗略视频摇身一变,变成了一个清晰、连贯、充满动感的全新视频。 不仅如此,为了让视频效果更加完美,ReCapture 还会使用 SDEdit 技术对视频进行最后的润色,就像化妆一样,让视频更加精致细腻。
谷歌的研究人员表示,ReCapture 不需要大量的训练数据,就可以处理各种类型的视频和视角转换。 这意味着,即使你只是一个普通的视频爱好者,也可以用 ReCapture 轻松制作出专业级的“多机位”视频。
项目地址:https://generative-video-camera-controls.github.io/
ReCapture凭借其简单易用的特性和强大的功能,极大地降低了多视角视频制作的门槛,为视频创作提供了全新的可能性。未来,这项技术或将广泛应用于电影制作、游戏开发以及虚拟现实等领域,带来更加沉浸式的视觉体验。