Вэнь Ван 1,2 , Цюй Ван 2 , Кечен Чжэн 2 , Хао Оуян 2 , Чжекай Чен 1 , Бяо Гун 2 , Хао Чен 1 ,
Юйцзюнь Шен 2 , Чуньхуа Шен 1
1 Университет Чжэцзян, Китай, 2 Ant Group
Мы предлагаем Framer, более управляемый и интерактивный метод интерполяции кадров, который позволяет пользователям создавать плавные переходы кадров между двумя изображениями, настраивая траекторию выбранных ключевых точек, улучшая контроль и обрабатывая сложные случаи.
Предлагаемый метод Framer обеспечивает интерактивную интерполяцию кадров, позволяя пользователям настраивать переходы, адаптируя траектории выбранных ключевых точек. Этот подход смягчает неоднозначность преобразования изображения, обеспечивая более точный контроль локальных движений и улучшая способность модели обрабатывать сложные случаи (например, объекты разных форм и стилей). Framer также включает режим «автопилота», который автоматически оценивает ключевые точки и уточняет траектории, упрощая процесс и обеспечивая естественные и согласованные во времени результаты.
В этой работе в качестве базовой модели используется крупномасштабная предварительно обученная модель диффузии изображения в видео (Stable Video Diffusion). Он вводит дополнительную обработку конечного кадра для облегчения интерполяции видео и включает в себя ветвь управления траекторией точки для взаимодействия с пользователем.
Framer превосходит существующие методы интерполяции кадров с точки зрения визуального качества и естественности движения, особенно в случаях, связанных со сложными движениями и значительными изменениями внешнего вида. Количественная оценка с использованием FVD (Fréchet Video Distance) демонстрирует превосходные результаты по сравнению с другими методами. Исследования пользователей показывают явное предпочтение продукции Framer, подчеркивая ее эффективность в получении реалистичных и визуально привлекательных результатов.
Обратите внимание, что видео пространственно сжаты. Мы отсылаем читателей на страницу проекта, где можно найти оригинальные видеоролики.
| Начальное изображение | Входная траектория и результаты интерполяции | Конечное изображение |
 |  |  |
|  | |
|  | |
| Начальное изображение | Входная траектория и результаты интерполяции | Конечное изображение |
 |  |  |
|  |  |
| Начальное изображение | Результаты интерполяции | Конечное изображение |
 |  |  |
 |  |  |
| Начальное изображение | Результаты интерполяции | Конечное изображение |
 |  |  |
 |  |  |
| Начальное изображение | Результаты интерполяции | Конечное изображение |
 |  |  |
 |  |  |
| Начальное изображение | Результаты интерполяции | Конечное изображение |
 |  |  |
 |  |  |
Пожалуйста, рассмотрите возможность цитирования нашей статьи, если наш код полезен:
@article { wang2024framer ,
title = { Framer: Interactive Video Interpolation } ,
author = { Wang, Wen and Wang, Qiuyu and Zheng, Kecheng and Ouyang, Hao and Chen, Zhekai and Gong, Biao and Chen, Hao and Shen, Yujun and Shen, Chunhua } ,
journal = { arXiv preprint https://arxiv.org/abs/2410.18978 } ,
year = { 2024 }
}Для академического использования этот проект лицензируется по лицензии BSD с двумя пунктами. По вопросам коммерческого использования обращайтесь в C Shen.
