Редактор Downcodes поможет вам понять технологию Google ReCapture и то, как эта революционная технология изменит редактирование видео! ReCapture позволяет обычным пользователям легко осуществлять настройку движения камеры на профессиональном уровне, меняет дизайн видеообъективов и вносит революционные изменения в постобработку видео. Эта технология больше не опирается на традиционные методы промежуточного 4D-представления, а умело использует знания о движении генеративных видеомоделей для преобразования редактирования видео в процесс преобразования видео в видео, значительно упрощая процесс работы и сохраняя характеристики видео. и качество изображения.
Новейшая технология ReCapture, запущенная исследовательской группой Google, подрывает традиционный метод редактирования видео. Это нововведение позволяет обычным пользователям легко осуществлять регулировку движения камеры на профессиональном уровне и перепроектировать язык объектива для уже снятых видео.
В традиционном постобработке видео изменение угла камеры захваченного видео всегда было технической проблемой. Когда существующие решения обрабатывают различные типы видеоконтента, часто бывает сложно одновременно поддерживать сложные эффекты движения камеры и детализацию изображения. ReCapture использует другой подход и не использует традиционный метод промежуточного 4D-представления. Вместо этого он умело использует знания о движении, хранящиеся в генеративной видеомодели, и переопределяет задачу как процесс преобразования видео в видео с помощью Stable Video Diffusion.
В системе используется двухэтапный рабочий процесс. На первом этапе генерируется опорное видео, которое представляет собой исходную выходную версию с новым положением камеры. Этот этап может быть достигнут путем создания многоракурсных видеороликов с помощью диффузионных моделей, таких как CAT3D, или путем покадровой оценки глубины и рендеринга облака точек. Хотя эта версия может иметь некоторые несоответствия по времени и визуальные недостатки, она заложила основу для второй фазы.
На втором этапе применяется точная настройка маскированного видео с использованием генеративной видеомодели, обученной на существующих отснятых материалах, для создания реалистичных эффектов движения и изменения времени. Система представляет временной слой LoRA (адаптация низкого ранга) для оптимизации модели, чтобы она могла понимать и воспроизводить конкретные динамические характеристики якорных видео без повторного обучения всей модели. В то же время пространственный уровень LoRA гарантирует, что детали и содержимое изображения соответствуют новому движению камеры. Это позволяет генеративной видеомодели выполнять такие операции, как масштабирование, панорамирование и наклон, сохраняя при этом характерное движение исходного видео.
Хотя ReCapture добилась значительного прогресса в области удобной для пользователя обработки видео, она все еще находится на стадии исследований и еще далека от коммерческого применения. Стоит отметить, что хотя у Google есть множество проектов видеоИИ, она пока не вывела их на рынок. Среди них проект Veo, возможно, наиболее близок к коммерческому использованию. Точно так же недавно выпущенная модель Movie-Gen от Meta и Sora от OpenAI, выпущенная в начале года, еще не коммерциализированы. В настоящее время рынок видеоИИ в основном возглавляют такие стартапы, как Runway, который прошлым летом выпустил свою последнюю модель Gen-3Alpha.
Появление технологии ReCapture знаменует будущее направление развития в области редактирования видео. Хотя она все еще находится на стадии исследований, ее мощные функции и удобные методы работы, несомненно, откроют больше возможностей для создания видео. Мы с нетерпением ожидаем скорейшего развития и коммерческого применения этой технологии в будущем, что предоставит большинству пользователей более удобный и эффективный опыт редактирования видео.