Downcodes小编带你了解谷歌研究院最新发布的ReCapture技术!这项令人惊叹的技术能够从全新的视角重新演绎你的视频,让你体验前所未有的观影感受。它并非简单的视频编辑,而是通过AI技术,根据你提供的视频,生成带有自定义摄像机轨迹的新版本,让你仿佛拥有了多机位拍摄的能力,即使是手机拍摄的日常视频,也能拥有电影般的效果。准备好了吗?让我们一起探索ReCapture的神奇之处!
谷歌研究院最近推出了一项名为ReCapture的全新技术,这项技术可以让你从全新的视角重新体验你自己的视频。ReCapture技术可以根据用户提供的视频,生成一个带有自定义摄像机轨迹的新版本,这意味着你可以从原本视频中没有的视角观看视频内容,并且还能保持视频中人物和场景的原始运动。
ReCapture 就像是一位神奇的剪辑师,可以根据你提供的视频,生成一个带有全新视角的新版本。 比如说,你用手机拍了一段狗狗玩耍的视频,ReCapture 可以帮你生成一段从狗狗视角拍摄的视频,是不是很神奇?
那么, ReCapture 究竟是如何实现这种“魔法”的呢? 其实,它背后的原理并不复杂。它首先会利用多视角扩散模型或点云渲染技术,根据你想要的新视角,生成一个粗略的视频。 这个粗略视频就像是一块未经雕琢的璞玉,画面可能不完整,时间也不连贯,就像喝醉了酒一样摇摇晃晃。
接下来,ReCapture 会祭出它的秘密武器——“遮罩视频微调”技术,对这个粗略视频进行“精雕细琢”。 这个技术就像是一位技艺高超的工匠,会用两种特殊的工具——空间 LoRA 和时间 LoRA,对视频进行修复和优化。 空间 LoRA 就像是一位“美容师”,负责学习原始视频中的人物和场景信息,让画面更加清晰美观。 而时间 LoRA 则是一位“节奏大师”,负责学习新视角下的场景运动,让视频播放更加流畅自然。
经过这两位“大师”的联手打造,粗略视频摇身一变,变成了一个清晰、连贯、充满动感的全新视频。 不仅如此,为了让视频效果更加完美,ReCapture 还会使用 SDEdit 技术对视频进行最后的润色,就像化妆一样,让视频更加精致细腻。
谷歌的研究人员表示,ReCapture 不需要大量的训练数据,就可以处理各种类型的视频和视角转换。 这意味着,即使你只是一个普通的视频爱好者,也可以用 ReCapture 轻松制作出专业级的“多机位”视频。
项目地址:https://generative-video-camera-controls.github.io/
ReCapture 技术的出现,无疑为视频创作领域带来了新的可能性。它简化了多视角视频制作流程,让更多人能够轻松体验到创造的乐趣。相信在未来,ReCapture 将在更多领域得到应用,为我们带来更多惊喜!