Технология генерации изображения в видео (I2V) быстро развивается с целью создания более реалистичных и контролируемых видеороликов. Редактор Downcodes сегодня представит новую платформу под названием Motion-I2V, которая совершила значительный прорыв в области генерации I2V посредством явного моделирования движения. Эта платформа, разработанная такими исследователями, как Сяоюй Ши и Чжаоян Хуан, является инновационной, поскольку она разбивает процесс преобразования изображения в видео на два этапа и умело сочетает уровни прогнозирования поля движения и временные уровни улучшения движения для достижения более высокого качества, большей согласованности и точности. управляемое создание видео.
С быстрым развитием технологий искусственного интеллекта технология генерации изображения в видео (I2V) стала горячей темой исследований. Недавно команда, состоящая из таких исследователей, как Сяоюй Ши и Чжаоян Хуан, представила новую платформу под названием Motion-I2V, которая обеспечивает более последовательное и контролируемое преобразование изображения в видео посредством явного моделирования движения. Этот технологический прорыв не только улучшает качество и стабильность формирования видео, но и предоставляет пользователям беспрецедентные возможности управления.
В области создания изображений в видео сохранение согласованности и управляемости генерируемых видео всегда было технической проблемой. Традиционные методы I2V напрямую изучают сложное сопоставление изображений с видео, в то время как платформа Motion-I2V инновационно разбивает этот процесс на два этапа и вводит явное моделирование движения на обоих этапах.
На первом этапе Motion-I2V предлагает предсказатель поля движения на основе диффузии, который фокусируется на определении траекторий пикселей эталонного изображения. Ключом к этому этапу является прогнозирование карты поля движения между опорным кадром и всеми будущими кадрами с использованием опорного изображения и текстовых подсказок. Второй этап отвечает за распространение содержимого опорного изображения в составной кадр. Благодаря введению нового временного слоя, дополненного движением, одномерное временное внимание усиливается, темпоральное рецептивное поле расширяется, а сложность непосредственного изучения сложных пространственно-временных паттернов облегчается.
По сравнению с существующими методами Motion-I2V демонстрирует явные преимущества. В таких сценариях, как «быстро движущийся танк», «быстро едущий синий BMW», «три чистых кубика льда» или «ползающая улитка», Motion-I2V создает более стабильное видео даже в режиме высокого качества. сохраняется в широком диапазоне движений и изменений угла обзора.
Кроме того, Motion-I2V также позволяет пользователям точно контролировать траектории движения и области движения с помощью разреженных траекторий и аннотаций областей, предоставляя больше возможностей управления, чем полагаться исключительно на текстовые инструкции. Это не только улучшает интерактивный опыт пользователя, но также предоставляет возможность настройки и персонализации создания видео.
Стоит отметить, что второй этап Motion-I2V также естественным образом поддерживает преобразование видео в видео с нулевой выборкой, что означает, что преобразование видео различных стилей или контента может быть достигнуто без обучающих выборок.
Запуск платформы Motion-I2V знаменует собой новый этап в технологии создания изображения в видео. Он не только обеспечивает значительное улучшение качества и согласованности, но также демонстрирует большой потенциал в области пользовательского контроля и персонализации. Поскольку технология продолжает развиваться и совершенствоваться, у нас есть основания полагать, что Motion-I2V будет играть важную роль в кино- и телепроизводстве, виртуальной реальности, разработке игр и других областях, предоставляя людям более богатые и яркие визуальные впечатления.
Адрес документа: https://xiaoyushi97.github.io/Motion-I2V/
адрес GitHub: https://github.com/GUN/Motion-I2V
Появление платформы Motion-I2V открыло новые возможности для технологии I2V, и заслуживают ожидания улучшения качества генерации видео, согласованности и пользовательского контроля. Я считаю, что в будущем, по мере дальнейшего развития технологий, Motion-I2V будет применяться во многих областях и принесет нам более захватывающие визуальные впечатления. Ожидайте появления новых инновационных приложений на основе этой платформы.