谷歌DeepMind團隊發布了一款名為「Generative Omnimatte」的AI模型，它能夠像一位技藝精湛的剪輯師一樣，將影片分解成多個圖層，精確分離人物、物體和背景，甚至可以「腦補」被遮蔽的部分，實現各種酷炫的特效。這項技術突破了傳統視訊摳圖技術的限制，無需綠幕或深度訊息，就能輕鬆完成複雜的影片編輯任務。告別繁瑣的操作，讓影片剪輯變得簡單易上手，人人都能成為影片剪輯大師！
還記得電影裡那些酷炫的特效嗎?物體憑空消失、場景瞬間變換，是不是讓你大呼過癮? 現在，谷歌DeepMind團隊研發出了一款名為“Generative Omnimatte”的AI模型，讓這些特效不再是電影的專屬! 這款AI就像一位技藝高超的剪輯師，可以將影片分解成多個圖層，每個圖層包含一個完整的物體及其產生的陰影、倒影等效果。
傳統的視訊摳圖技術通常依賴綠幕拍攝或精確的深度訊息，操作起來非常複雜。 而這款AI模型則完全擺脫了這些限制，它不需要任何額外的信息，就能將影片中的人物、物體、背景完美分離，甚至可以「腦補」出被遮擋的部分，效果令人驚嘆!
這款AI模型的核心是一個名為「Casper」的影片移除模型。 它就像一個神奇的橡皮擦，可以精準地擦除影片中任何你指定的物體，連帶著它的陰影、倒影也一併消失，而背景卻完好無損。
更重要的是，它還能根據使用者的需求，將物體與背景重新組合，實現各種創意效果，例如將人物從一個場景「瞬移」到另一個場景，或改變物體的運動速度，甚至讓時間倒流!
有了這個神器，以後做影片剪輯就太輕鬆了，想加什麼特效就加什麼特效，完全不用擔心技術問題，人人都能成為剪輯大師! 例如你想把朋友從家裡「瞬移」到海邊，只需要用Casper 把朋友摳出來，再放到海邊的背景上就搞定了，是不是很簡單? 你甚至可以讓朋友在視頻裡倒著走路，或者把朋友複製成好幾個，一起跳舞，想想就覺得很有趣!
當然，Generative Omnimatte 現在還處於研發階段，還有一些小bug 需要解決。 例如，如果影片裡有多個很相似的物體，AI 就可能會分不清誰是誰，把它們搞混。 另外，如果物體發生了形變，例如被壓彎的桿子，AI 就不知道該怎麼處理了。 不過相信GoogleDeepMind 團隊很快就能解決這些問題，讓Generative Omnimatte 變得更完美!
專案網址：https://gen-omnimatte.github.io/
論文網址：https://arxiv.org/pdf/2411.16683
Generative Omnimatte為影片編輯帶來了革命性的改變，未來它將為我們帶來更多令人驚喜的應用和特效，讓我們拭目以待！