Последняя технология Recapture, выпущенная Google Research Institute, привела к инновациям в области редактирования видео. Он может генерировать новую версию с пользовательской камерой дорожки на основе существующих видео, позволяющих просмотреть видеоконтент с разных точек зрения, при этом идеально сохраняя оригинальное состояние персонажей и сцен в оригинальном видео. Эта технология похожа на магию, которая может превратить обычное видео в захватывающие изображения с разных сторон и точек зрения.
Google Research недавно запустила новую технологию под названием Recapture, которая позволяет вам повторно экспертизировать ваши собственные видео с совершенно новой точки зрения. Технология повторного запуска может генерировать новую версию с помощью пользовательской дорожки для камеры на основе видео, предоставленного пользователем, что означает, что вы можете посмотреть видеоконтент с точки зрения, которая недоступна в оригинальном видео, а также сохранить исходное движение персонажей и сцены в видео.
Recapture похож на волшебный редактор, который может генерировать новую версию с совершенно новой перспективой, основанной на предоставленных вами видео. Например, если вы сняли видео с собакой, играющей с вашим мобильным телефоном, возврат может помочь вам создать видео, снятое с точки зрения собаки.
Итак, как именно возвращение реализует эту «магию»? Сначала он использует модель диффузии с несколькими обзорами или технологию рендеринга точечного облака для создания грубого видео на основе новой перспективы, которую вы хотите. Это грубое видео похоже на нефтяную часть нефрита.
Далее, Recapture будет использовать свое секретное оружие - технологию «Точная настройка маски» для «изящного создания» этого грубого видео. Эта технология похожа на опытного ремесленника, который может отремонтировать и оптимизировать видео с двумя специальными инструментами - Space Lora и Time Lora. Space Lora похож на «косметолога», который отвечает за изучение персонажей и информации о сцене в оригинальном видео, что делает картину более четкой и красивой. Time Lora - это «мастер ритма», который отвечает за движение сцены обучения с новой точки зрения, чтобы сделать воспроизведение видео более плавным и естественным.
После совместного создания этих двух «мастеров» грубое видео было преобразовано в четкое, последовательное и динамичное новое видео. Мало того, для того, чтобы сделать видео более совершенным, Recapture также будет использовать технологию Sdedit для завершения видео, как и макияж, что делает видео более деликатным и деликатным.
Исследователи в Google говорят, что Recapture может обрабатывать различные типы конверсий видео и точек зрения, не требуя большого количества данных обучения. Это означает, что даже если вы просто обычный энтузиаст видео, вы можете легко создать видео профессионального класса «многокамерные» с возвращением.
Адрес проекта: https://generative-video-camera-controls.github.io/
Благодаря его простым и простым в использовании функциях и мощных функциях, Recapture значительно снизила порог для производства видео с несколькими просмотрами, предоставляя новые возможности для создания видео. В будущем эта технология может широко использоваться в области кинопроизводства, развития игр и виртуальной реальности, что принесет более захватывающий визуальный опыт.