В последние годы быстрое развитие технологии повторного развязки изображений получила выгоду от накопления крупномасштабных наборов данных и широкого применения предварительно обученных диффузионных моделей, что делает последовательное освещение становиться все более распространенным в обработке изображений. Тем не менее, в области повторного проявления видео технологический прогресс относительно отстает из-за высоких затрат на обучение и отсутствия диверсифицированных и высококачественных наборов данных о повторностях видео.
Простое применение модели повторного освещения изображения к кадре обработки видео по кадру часто приводит к ряду проблем, таких как несоответствие источника света и колебания в виде повторного освещения, что в конечном итоге запускает мерцание в видео, серьезно влияет на опыт просмотра.
Чтобы решить эти проблемы, исследовательская группа предложила Light-a-Video, инновационный метод, который может достичь крутого во времени, переживающего просветления без обучения. Light-a-Video не только опирается на преимущества модели повторного освещения изображения, но и вводит два ключевых модуля, чтобы значительно повысить согласованность освещения в видео.
Во -первых, исследователи разработали модуль последовательного легкого внимания (CLA). Этот модуль эффективно стабилизирует генерацию источников фонового света, усиливая перекрестное взаимодействие в слое самосознания, тем самым избегая прыжка и несоответствия источников света в видео.
Во -вторых, на основе физического принципа независимости оптической передачи, исследовательская группа приняла стратегию линейного слияния для смешивания появления источника с появлением тяжелого освещения. Благодаря стратегии прогрессивного светового слияния (PLF) обеспечивается плавный переход света во времени, что еще больше улучшает визуальную когерентность видео.
В эксперименте Light-a-Video продемонстрировал превосходную производительность, значительно улучшив временную последовательность видеороликов с тяжелым освещением, сохраняя при этом высококачественную производительность изображения. Его структура обработки сначала выполняет обработку шума на исходном видео, а затем постепенно разветвляет его через модель VDM. На каждом этапе прогнозируемый компонент без шума служит последовательной целью, в то время как постоянный модуль света внимания вводит уникальную информацию о освещении для преобразования ее в тяжелый свет. Наконец, стратегия прогрессивного света слияния объединяет две цели, чтобы сформировать цель слияния, обеспечивая более утонченное направление для текущих шагов.
Успех Light-a-Video не только демонстрирует огромный потенциал технологии повторного освещения видео, но также предоставляет новые идеи и направления для будущих исследований. Ожидается, что применение этой технологии принесет революционные изменения в области кино и телевидения, виртуальной реальности и т. Д.
Ключевые моменты:
Light-a-Video-это техника без обучения, предназначенную для достижения последовательности времени при повторном освещении видео.
Последовательный модуль внимания и стратегию прогрессивного слияния света для решения проблемы неоднородности источника света при повторном освещении видео.
Эксперименты показывают, что Light-a-Video значительно улучшает консистенцию времени и качество изображения видео с тяжелым светом.