Редактор Downcodes поможет вам разобраться в новейшей технологии ReCapture, выпущенной Google Research! Эта удивительная технология интерпретирует ваши видео с совершенно новой точки зрения, предоставляя вам беспрецедентные впечатления от просмотра. Это не простое редактирование видео, оно использует технологию искусственного интеллекта для создания новой версии с настраиваемыми траекториями камеры на основе предоставленного вами видео, благодаря чему у вас создается впечатление, что у вас есть возможность снимать с нескольких камер, даже для ежедневных видео, снятых на ваш мобильный телефон. . Это также может иметь эффект кино. Вы готовы? Давайте вместе исследовать магию ReCapture!
Google Research недавно запустила новую технологию под названием ReCapture, которая позволяет вам заново просматривать свои видео с новой точки зрения. Технология ReCapture может генерировать новую версию с настраиваемыми дорожками камеры на основе видео, предоставленного пользователем. Это означает, что вы можете смотреть видеоконтент с точки зрения, которой нет в исходном видео, и при этом сохранять исходное движение персонажей и сцен в видео.
ReCapture похож на волшебный редактор, который может создать новую версию со свежим взглядом на основе предоставленного вами видео. Например, если вы снимаете на мобильный телефон играющую собаку, ReCapture может помочь вам создать видео, снятое с точки зрения собаки. Разве это не потрясающе?
Итак, как ReCapture достигает этого «волшебства»? На самом деле принцип, лежащий в основе этого, не сложен? Сначала он использует модель многоракурсной диффузии или технологию рендеринга облака точек для создания грубого видео на основе нужной вам новой перспективы. Это грубое видео похоже на неотшлифованный нефрит, картинка может быть неполной, время может быть сбивчивым, а оно может раскачиваться как пьяное.
Далее ReCapture будет использовать свое секретное оружие — технологию «тонкой настройки видео по маске», чтобы «тонко отполировать» это грубое видео. Эта технология подобна умелому мастеру, который использует два специальных инструмента — пространственный LoRA и временной LoRA для восстановления и оптимизации видео. Spatial LoRA действует как «косметолог», отвечающий за изучение персонажей и информации о сценах в исходном видео, чтобы сделать изображение более четким и красивым. Time LoRA — это «мастер ритма», отвечающий за изучение движений сцены с новых точек зрения, чтобы сделать воспроизведение видео более плавным и естественным.
Совместными усилиями этих двух «мастеров» черновое видео превратилось в четкое, связное и динамичное новое видео. Мало того, чтобы сделать видеоэффект более совершенным, ReCapture также будет использовать технологию SDEdit для добавления последних штрихов к видео, как макияж, делая видео более изысканным и нежным.
Исследователи Google говорят, что ReCapture может обрабатывать различные типы видео и перспективные переходы, не требуя больших объемов обучающих данных. Это означает, что даже если вы обычный любитель видео, вы можете легко создавать «многокамерные» видеоролики профессионального уровня с помощью ReCapture.
Адрес проекта: https://generative-video-camera-controls.github.io/
Появление технологии ReCapture, несомненно, открыло новые возможности в области создания видео. Это упрощает процесс создания многопросмотрового видео, позволяя большему количеству людей легко испытать радость творчества. Я верю, что в будущем ReCapture будет применяться в большем количестве областей и преподнесет нам еще больше сюрпризов!