阿里巴巴最新發布的Animate Anyone2技術,實現了視頻人物的精準替換,其突破性進展引發廣泛關注。該技術能夠在保留原始視頻動作的基礎上,將目標角色圖像實時替換到視頻中,並支持光照調節和背景環境適配,實現人物與場景的深度融合。這項技術的核心在於其動態骨骼綁定技術和形狀無關的掩模策略,能夠精確捕捉人體動作和麵部表情,並有效描述角色與環境的關係,從而生成高度真實的動畫效果。
近日,阿里巴巴發布了其最新技術成果Animate Anyone2,這項突破性技術可實現視頻人物的精準替換。根據項目官網公佈的案例展示,用戶只需提供原始視頻與目標角色圖像,系統即可在保留原視頻動作軌蹟的基礎上,完成人物形象的實時替換。
實驗數據顯示,系統可將足球運動員的射門動作完整遷移至動畫角色,同時保留球體運動軌蹟的真實物理特性。針對影視製作中的複雜需求,該系統還支持自定義光照調節與背景環境適配,實現人物與場景的深度融合。
該系統搭載的動態骨骼綁定技術,通過精確追踪人體28個關鍵骨骼點,能準確捕捉肢體運動軌跡與面部微表情。在公開測試視頻中,無論是舞蹈演員的連續旋轉動作,還是武術動作中的快速騰挪,替換後的角色都能保持動作連貫性。
在技術層面上,該系統採用了一種形狀無關的掩模策略,能夠更有效地描述角色與環境之間的關係。同時,為了增強角色與周圍物體之間的互動,Animate Anyone2引入了輕量級的物體引導器。該引導器負責提取與角色互動的物體特徵,並通過空間融合技術將這些特徵注入到去噪過程中。這樣的設計使得角色在運動時與環境及物體的互動顯得更加流暢和真實。
實驗結果顯示,Animate Anyone2在生成具有環境適應性的角色動畫方面表現出色。與目前市場上的同類產品,如Viggle 和MIMO 相比,Animate Anyone2在角色的一致性、細節保留和互動的真實性上都展現出更高的水平。這標誌著角色動畫技術的發展邁向了新的高度。
隨著Animate Anyone2的推出,角色動畫在遊戲、影視製作和虛擬現實等多個領域的應用潛力進一步擴大。它不僅為動畫製作人提供了更強大的工具,也為觀眾帶來了更加生動、真實的視覺體驗。
項目:https://humanaigc.github.io/animate-anyone-2/
劃重點:
Animate Anyone2通過捕捉環境特徵,實現角色與環境之間的真實互動。
新技術引入物體引導器和空間融合,提升角色與物體的交互效果。
相較於同類技術,Animate Anyone2在細節和一致性方面展現出明顯優勢。
總而言之,Animate Anyone2憑藉其先進的技術和出色的表現,為角色動畫技術樹立了新的標杆,並在遊戲、影視等領域展現出巨大的應用前景,值得期待其未來的發展和應用。