Framer

其他源碼

下載

成幀器

Framer：互動式幀插值

王文^1,2 、王秋雨² 、鄭克成² 、歐陽浩² 、陳哲凱¹ 、龔彪² 、陳浩¹ 、
沉玉軍² ,沈春華¹

¹浙江大學，中國， ²螞蟻集團

？長話短說

我們提出了Framer，一種更可控和互動的幀插值方法，允許使用者透過自訂選定關鍵點的軌跡、增強控制和處理具有挑戰性的情況來產生兩個影像之間的平滑過渡幀。

主要權利要求

所提出的方法 Framer 提供互動式影格插值，讓使用者可以透過自訂所選關鍵點的軌跡來客製化過渡。這種方法減輕了影像變換的模糊性，能夠更精細地控制局部運動，並提高模型處理具有挑戰性的情況（例如，具有不同形狀和樣式的物件）的能力。 Framer 還包括「自動駕駛」模式，可自動估計關鍵點並細化軌跡，從而簡化流程並實現運動自然且時間連貫的結果。

方法論

這項工作利用大規模預訓練的影像到視訊擴散模型（穩定視訊擴散）作為基礎模型。它引入了額外的端幀調節以促進視訊插值，並結合了用於用戶互動的點軌跡控制分支。

主要結果

Framer 在視覺品質和自然運動方面優於現有的幀插值方法，特別是在涉及複雜運動和顯著外觀變化的情況下。與其他方法相比，使用 FVD（Fréchet Video Distance）進行的定量評估表現出優越的性能。使用者研究顯示對 Framer 輸出的強烈偏好，強調了其在產生逼真且視覺上吸引人的結果方面的有效性。

變更日誌

發布程式碼和檢查點。
2024 年 10 月 28 日。
2024 年 10 月 25 日。

展示櫃

請注意，影片是空間壓縮的。我們建議讀者訪問項目頁面以獲取原始視頻。

1. 影片插值與使用者交互

起始影像	輸入軌跡和插值結果	結束影像

2. 與使用者互動的圖像變形

起始影像	輸入軌跡和插值結果	結束影像

3. 無需用戶輸入控制的視訊內插

起始影像	插值結果	結束影像

4.新穎的視圖合成

起始影像	插值結果	結束影像

5. 卡通和素描插值

起始影像	插值結果	結束影像

6. 延時影片生成。

起始影像	插值結果	結束影像

引文 BibTeX

如果我們的程式碼有用，請考慮引用我們的論文：

 @article { wang2024framer ,
  title = { Framer: Interactive Video Interpolation } ,
  author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
  journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
  year = { 2024 }
}