Downcodes小編帶你了解GoogleReCapture技術，這項顛覆性技術將如何改變影片編輯！ ReCapture讓一般用戶也能輕鬆實現專業級的攝影機運動調整，重新設計視訊鏡頭語言，為影片後製帶來革命性變化。這項技術不再依賴傳統的4D中間表示方法，而是巧妙地利用生成式視訊模型的運動知識，將視訊編輯轉化為視訊到視訊的轉換過程，極大簡化了操作流程，並保留了視訊的細節和畫面品質。
Google研究團隊最新推出的ReCapture 技術，正在顛覆傳統影片編輯的玩法。這項創新讓一般用戶也能輕鬆實現專業級的攝影機運動調整，為已拍攝的影片重新設計鏡頭語言。
傳統影片後製中，改變已拍攝影片的鏡頭角度一直是個技術難題。現有方案在處理不同類型的影片內容時，往往難以同時維持複雜的運鏡效果和畫面細節。 ReCapture 另闢蹊徑，並沒有採用傳統的4D 中間表示方法，而是巧妙利用生成式視訊模型中儲存的運動知識，透過Stable Video Diffusion 將任務重新定義為視訊到視訊的轉換過程。
這套系統採用兩階段工作流程。第一階段產生錨定視頻，也就是具有新機位的初始輸出版本。這一階段可以透過CAT3D 等擴散模型創建多角度視頻，或者透過逐幀深度估計和點雲渲染來實現。雖然這個版本可能存在一些時序不連貫和視覺瑕疵，但為第二階段奠定了基礎。
第二階段應用帶有遮罩的視訊微調，利用在現有素材上訓練的生成式視訊模型來創造真實的運動效果和時序變化。系統引入了時序LoRA（低秩適應）層來優化模型，使其能夠理解和複製錨定影片的特定動態特徵，無需重新訓練整個模型。同時，空間LoRA 圖層確保了畫面細節和內容與新的攝影機運動保持一致。這使得生成式視訊模型能夠在保持原始視訊特徵運動的同時，完成變焦、平移和傾斜等操作。
儘管ReCapture 在用戶友好的視訊處理方面取得了重要進展，但目前仍處於研究階段，距離商業化應用還有一段距離。值得注意的是，雖然Google擁有眾多視訊AI 項目，但尚未將其推向市場，其中Veo 項目可能最接近商用。同樣，Meta 最近推出的Movie-Gen 車型以及OpenAI 年初發布的Sora 也都未實現商業化。目前，視訊AI 市場主要由Runway 等新創公司引領，該公司已於去年夏天推出了最新的Gen-3Alpha 模型。
ReCapture 技術的出現預示著影片編輯領域的未來發展方向，雖然目前仍處於研究階段，但其強大的功能和便利的操作方式，無疑將為影片創作帶來更多可能性。期待這項技術未來能夠早日成熟並投入商業應用，為廣大用戶帶來更便捷高效的影片編輯體驗。