本文介紹了一種基於擴散先驗的兩階段方法Diffusion-Vas，用於解決視訊物體分割中存在的遮蔽問題。此方法能夠有效地進行視訊無模態分割和內容補全，即使在物體被完全遮擋的情況下也能準確追蹤目標並恢復其完整形態。透過結合可見光罩序列和偽深度圖，Diffusion-Vas 能夠推斷物體邊界的遮蔽情況，並利用條件生成模型對遮蔽區域進行內容補全，最終產生高保真度的完整無模態RGB內容。該方法在多個資料集上的基準測試結果表明，其效能優於多種現有方法，尤其在複雜場景下表現出色。
在視訊分析領域，物體持久性理解至關重要。 Diffusion-Vas 方法的創新之處在於其對無模態物體的處理，突破了傳統方法僅關注可見物體的限制。其兩階段設計巧妙地結合了遮罩產生和內容補全，有效提升了影片分析的準確性和穩健性。未來，這項技術可望廣泛應用於自動駕駛、監視視訊分析等領域，為更精準、更全面的視訊理解提供有力支撐。專案網址：https://diffusion-vas.github.io/