Downcodes小編帶你了解Google一項顛覆傳統影片編輯的革新技術－ReCapture。這項技術讓用戶能夠輕鬆實現專業級的攝影機運動調整，重新定義已拍攝影片的鏡頭語言，即使是影片編輯新手也能輕鬆上手，這將如何改變我們的影片創作方式呢？讓我們一起探索ReCapture的奧秘。
Google研究團隊最新推出的ReCapture 技術，正在顛覆傳統影片編輯的玩法。這項創新讓一般用戶也能輕鬆實現專業級的攝影機運動調整，為已拍攝的影片重新設計鏡頭語言。
傳統影片後製中，改變已拍攝影片的鏡頭角度一直是個技術難題。現有方案在處理不同類型的影片內容時，往往難以同時維持複雜的運鏡效果和畫面細節。 ReCapture 另闢蹊徑，並沒有採用傳統的4D 中間表示方法，而是巧妙利用生成式視訊模型中儲存的運動知識，透過Stable Video Diffusion 將任務重新定義為視訊到視訊的轉換過程。
這套系統採用兩階段工作流程。第一階段產生錨定視頻，也就是具有新機位的初始輸出版本。這一階段可以透過CAT3D 等擴散模型創建多角度視頻，或者透過逐幀深度估計和點雲渲染來實現。雖然這個版本可能存在一些時序不連貫和視覺瑕疵，但為第二階段奠定了基礎。
第二階段應用帶有遮罩的視訊微調，利用在現有素材上訓練的生成式視訊模型來創造真實的運動效果和時序變化。系統引入了時序LoRA（低秩適應）層來優化模型，使其能夠理解和複製錨定影片的特定動態特徵，無需重新訓練整個模型。同時，空間LoRA 圖層確保了畫面細節和內容與新的攝影機運動保持一致。這使得生成式視訊模型能夠在保持原始視訊特徵運動的同時，完成變焦、平移和傾斜等操作。
儘管ReCapture 在用戶友好的視訊處理方面取得了重要進展，但目前仍處於研究階段，距離商業化應用還有一段距離。值得注意的是，雖然Google擁有眾多視訊AI 項目，但尚未將其推向市場，其中Veo 項目可能最接近商用。同樣，Meta 最近推出的Movie-Gen 車型以及OpenAI 年初發布的Sora 也都未商業化。目前，視訊AI 市場主要由Runway 等新創公司引領，該公司已於去年夏天推出了最新的Gen-3Alpha 模型。
ReCapture 技術的出現，預示著影片編輯領域即將迎來一場革命。雖然目前還處於研發階段，但其強大的功能和便捷的操作方式，無疑為未來的影片創作提供了無限可能。 Downcodes小編將持續關注該技術的進展，並為大家帶來更多相關報導。