近年來,AI技術快速發展,尤其在動畫製作領域,基於靜態影像生成動態影片成為研究熱點。傳統的動畫製作方法往往依賴稀疏的骨骼姿態訊息,導致動畫效果不夠精細。為了解決這個問題,新的技術不斷湧現,力求實現更精細、更可控的人物影像動畫。
近年來,隨著人工智慧和電腦視覺技術的快速發展,人與電腦之間的互動變得越來越生動和富有表現力。尤其是在動畫製作領域,如何實現基於靜態影像生成動態影片一直是研究的熱點。
近日,一項名為「DisPose」 的新技術應運而生,它透過解耦姿態指導,實現了更可控的人物圖像動畫效果。簡單的說,DisPose實現了輸入動作影片和參考人物,可以讓參考人物實現影片裡的動作。
DisPose 技術的核心在於其對傳統稀疏姿態資訊的重構與利用。傳統方法多依賴稀疏的骨骼姿態指導,這在動態生成影片時往往無法提供足夠的控制訊號,導致動畫效果不夠精細。為了彌補這一不足,DisPose 提出了一種全新的方法,透過將稀疏的姿態訊息轉化為運動場指導和關鍵點對應關係,實現了更細緻的運動生成。
具體來說,DisPose 首先透過對骨骼姿態計算稀疏運動場,並基於參考圖像引入了一種密集運動場的生成方式。這種方式不僅提供了區域層級的運動訊號,也維持了稀疏姿態控制的普遍性。同時,DisPose 也從參考影像中提取與姿態關鍵點相對應的擴散特徵,然後透過計算多尺度的點對應關係,將這些特徵傳遞到目標姿態,以增強外觀的一致性。
為了讓這項創新技術能夠順利融入現有模型中,研究人員也提出了一個插件式的混合ControlNet 架構。這項架構在不改變現有模型參數的基礎上,提高了產生影片的品質和一致性。透過廣泛的定性和定量實驗,DisPose 展現出相較於當前技術的顯著優勢,預示著動畫製作技術的未來發展方向。
DisPose 透過優化姿態訊息的利用方式,提升了人像動畫的表現力與控制性。這項進展不僅在學術研究上具有重要意義,也為未來的動畫產業帶來了新的可能性。
專案入口:https://lihxxx.github.io/DisPose/
劃重點:
DisPose 是一種新的人像動畫技術,透過解耦姿態指導實現更精確的動態生成。
此技術將稀疏姿態資訊轉化為運動場指導和關鍵點對應,提供細緻的運動訊號。
研究者提出的混合ControlNet 架構能有效提升產生影片的品質與一致性。
DisPose技術的出現,標誌著動畫製作技術邁向一個新的里程碑。其高效的姿態資訊處理方式和創新的混合ControlNet架構,為未來更逼真、更精細的人像動畫製作提供了強大的技術支持,也為動畫產業帶來了無限可能。期待DisPose在未來動畫製作中發揮更大的作用。