Downcodes小編帶你了解Google研究院最新發布的ReCapture技術!這項令人驚嘆的技術能夠從全新的視角重新演繹你的視頻,讓你體驗前所未有的觀影感受。它並非簡單的視頻編輯,而是透過AI技術,根據你提供的視頻,生成帶有自定義攝像機軌蹟的新版本,讓你彷彿擁有了多機位拍攝的能力,即使是手機拍攝的日常視頻,也能擁有電影般的效果。準備好了嗎?讓我們一起探索ReCapture的神奇之處吧!
谷歌研究院最近推出了一項名為ReCapture的全新技術,讓你從全新的視角重新體驗你自己的影片。 ReCapture技術可以根據用戶提供的視頻,產生一個帶有自訂攝影機軌蹟的新版本,這意味著你可以從原本視頻中沒有的視角觀看視頻內容,並且還能保持視頻中人物和場景的原始運動。
ReCapture 就像是一位神奇的剪輯師,可以根據你提供的視頻,生成一個帶有全新視角的新版本。 比如說,你用手機拍了一段狗狗玩耍的視頻,ReCapture 可以幫你生成一段從狗狗視角拍攝的視頻,是不是很神奇?
那麼, ReCapture 究竟是如何實現這種「魔法」的呢? 其實,它背後的原理並不複雜。它首先會利用多視角擴散模型或點雲渲染技術,根據你想要的新視角,產生一個粗略的影片。 這個粗略影片就像是一塊未經雕琢的璞玉,畫面可能不完整,時間也不連貫,就像喝醉了酒一樣搖搖晃晃。
接下來,ReCapture 會祭出它的秘密武器—— 「遮罩視訊微調」技術,對這個粗略影片進行「精雕細琢」。 這項技術就像是一位技藝高超的工匠,會用兩種特殊的工具——空間LoRA 和時間LoRA,對影片進行修復和優化。 空間LoRA 就像是一位“美容師”,負責學習原始影片中的人物和場景訊息,讓畫面更加清晰美觀。 而時間LoRA 則是一位“節奏大師”,負責學習新視角下的場景運動,讓影片播放更加流暢自然。
經過這兩位「大師」的聯手打造,粗略視訊搖身一變,變成了一個清晰、連貫、充滿動感的全新影片。 不僅如此,為了讓影片效果更加完美,ReCapture 還會使用SDEdit 技術對影片進行最後的潤色,就像化妝一樣,讓影片更加精緻細膩。
谷歌的研究人員表示,ReCapture 不需要大量的訓練數據,就可以處理各種類型的視訊和視角轉換。 這意味著,即使你只是一個普通的影片愛好者,也可以用ReCapture 輕鬆製作出專業級的「多機位」影片。
專案地址:https://generative-video-camera-controls.github.io/
ReCapture 技術的出現,無疑為影片創作領域帶來了新的可能性。它簡化了多視角影片製作流程,讓更多人能夠輕鬆體驗創造的樂趣。相信在未來,ReCapture 將在更多領域得到應用,為我們帶來更多驚喜!