Framer

Kode sumber lainnya

Unduh

Pembentuk

Framer: Interpolasi Bingkai Interaktif

Wen Wang ^1,2 , Qiuyu Wang ² , Kecheng Zheng ² , Hao Ouyang ² , Zhekai Chen ¹ , Biao Gong ² , Hao Chen ¹ ,
Yujun Shen ² , Chunhua Shen ¹

¹ Universitas Zhejiang, Cina, ² Grup Semut

? TL;DR

Kami mengusulkan Framer, metode interpolasi bingkai yang lebih terkendali dan interaktif yang memungkinkan pengguna menghasilkan transisi bingkai yang mulus antara dua gambar dengan menyesuaikan lintasan titik kunci yang dipilih, meningkatkan kontrol, dan menangani kasus yang menantang.

Klaim Utama

Metode yang diusulkan, Framer, menyediakan interpolasi bingkai interaktif, memungkinkan pengguna untuk menyesuaikan transisi dengan menyesuaikan lintasan titik kunci yang dipilih. Pendekatan ini mengurangi ambiguitas transformasi gambar, memungkinkan kontrol gerakan lokal yang lebih baik dan meningkatkan kemampuan model untuk menangani kasus-kasus sulit (misalnya, objek dengan bentuk dan gaya berbeda). Framer juga menyertakan mode "autopilot" yang secara otomatis memperkirakan titik-titik kunci dan menyempurnakan lintasan, menyederhanakan proses dan memungkinkan hasil yang alami dan koheren secara temporal.

Metodologi

Karya ini menggunakan model difusi gambar-ke-video terlatih berskala besar (Difusi Video Stabil) sebagai model dasar. Ini memperkenalkan pengkondisian bingkai akhir tambahan untuk memfasilitasi interpolasi video dan menggabungkan cabang pengontrol lintasan titik untuk interaksi pengguna.

Hasil Utama

Framer mengungguli metode interpolasi bingkai yang ada dalam hal kualitas visual dan gerakan alami, terutama dalam kasus yang melibatkan gerakan kompleks dan perubahan tampilan yang signifikan. Evaluasi kuantitatif menggunakan FVD (Fréchet Video Distance) menunjukkan kinerja yang lebih unggul dibandingkan metode lainnya. Studi pengguna menunjukkan preferensi yang kuat terhadap keluaran Framer, menyoroti efektivitasnya dalam memberikan hasil yang realistis dan menarik secara visual.

log perubahan

Lepaskan kode dan pos pemeriksaan.
28 Oktober 2024. Demo Huggingface Gradio kini tersedia di sini!
25 Oktober 2024. Luncurkan halaman proyek dan unggah pracetak arXiv.

Etalase

Perhatikan bahwa video dikompresi secara spasial. Kami merujuk pembaca ke halaman proyek untuk video asli.

1. Interpolasi Video dengan Interaksi Pengguna

Mulai Gambar	Lintasan Masukan & Hasil Interpolasi	Gambar Akhir

2. Perubahan Gambar dengan Interaksi Pengguna

Mulai Gambar	Lintasan Masukan & Hasil Interpolasi	Gambar Akhir

3. Interpolasi Video tanpa Kontrol Input Pengguna

Mulai Gambar	Hasil Interpolasi	Gambar Akhir

4. Sintesis Tampilan Novel

Mulai Gambar	Hasil Interpolasi	Gambar Akhir

5. Interpolasi Kartun dan Sketsa

Mulai Gambar	Hasil Interpolasi	Gambar Akhir

6. Pembuatan Video Selang Waktu.

Mulai Gambar	Hasil Interpolasi	Gambar Akhir

Kutipan BibTeX

Silakan pertimbangkan untuk mengutip makalah kami jika kode kami berguna:

 @article { wang2024framer ,
  title = { Framer: Interactive Video Interpolation } ,
  author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
  journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
  year = { 2024 }
}