Wen Wang 1,2 , Qiuyu Wang 2 , Kecheng Zheng 2 , Hao Ouyang 2 , Zhekai Chen 1 , Biao Gong 2 , Hao Chen 1 ,
Yujun Shen 2 , Chunhua Shen 1
1 Zhejiang-Universität, China, 2 Ameisengruppe
Wir schlagen Framer vor, eine kontrollierbarere und interaktivere Frame-Interpolationsmethode, die es Benutzern ermöglicht, reibungslose Übergangsframes zwischen zwei Bildern zu erzeugen, indem sie die Flugbahn ausgewählter Schlüsselpunkte anpasst, die Kontrolle verbessert und schwierige Fälle handhabt.
Die vorgeschlagene Methode Framer bietet interaktive Frame-Interpolation und ermöglicht es Benutzern, Übergänge anzupassen, indem sie die Trajektorien ausgewählter Schlüsselpunkte anpassen. Dieser Ansatz mildert die Mehrdeutigkeit der Bildtransformation, ermöglicht eine viel feinere Steuerung lokaler Bewegungen und verbessert die Fähigkeit des Modells, schwierige Fälle (z. B. Objekte mit unterschiedlichen Formen und Stilen) zu bewältigen. Framer verfügt außerdem über einen „Autopilot“-Modus, der Schlüsselpunkte automatisch schätzt und Flugbahnen verfeinert, was den Prozess vereinfacht und bewegungsnatürliche und zeitlich kohärente Ergebnisse ermöglicht.
Diese Arbeit verwendet ein groß angelegtes vorab trainiertes Bild-zu-Video-Diffusionsmodell (Stabile Videodiffusion) als Basismodell. Es führt eine zusätzliche Endbildkonditionierung ein, um die Videointerpolation zu erleichtern, und enthält einen Zweig zur Steuerung der Punkttrajektorie für die Benutzerinteraktion.
Framer übertrifft bestehende Frame-Interpolationsmethoden in Bezug auf visuelle Qualität und natürliche Bewegung, insbesondere in Fällen mit komplexen Bewegungen und erheblichen Änderungen im Erscheinungsbild. Die quantitative Auswertung mittels FVD (Fréchet Video Distance) zeigt eine überlegene Leistung im Vergleich zu anderen Methoden. Benutzerstudien zeigen eine starke Präferenz für die Ausgabe von Framer und unterstreichen seine Wirksamkeit bei der Erzielung realistischer und optisch ansprechender Ergebnisse.
Beachten Sie, dass die Videos räumlich komprimiert sind. Für die Originalvideos verweisen wir die Leser auf die Projektseite.
| Bild starten | Geben Sie Flugbahn- und Interpolationsergebnisse ein | Bild beenden |
 |  |  |
|  | |
|  | |
| Bild starten | Geben Sie Flugbahn- und Interpolationsergebnisse ein | Bild beenden |
 |  |  |
|  |  |
| Bild starten | Interpolationsergebnisse | Bild beenden |
 |  |  |
 |  |  |
| Bild starten | Interpolationsergebnisse | Bild beenden |
 |  |  |
 |  |  |
| Bild starten | Interpolationsergebnisse | Bild beenden |
 |  |  |
 |  |  |
| Bild starten | Interpolationsergebnisse | Bild beenden |
 |  |  |
 |  |  |
Bitte zitieren Sie unseren Artikel, wenn unser Code nützlich ist:
@article { wang2024framer ,
title = { Framer: Interactive Video Interpolation } ,
author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
year = { 2024 }
}Für den akademischen Gebrauch ist dieses Projekt unter der 2-Klausel-BSD-Lizenz lizenziert. Für kommerzielle Nutzung wenden Sie sich bitte an C Shen.
