최근 몇 년 동안, 이미지 재실체 기술의 신속한 개발은 대규모 데이터 세트의 축적과 미리 훈련 된 확산 모델의 광범위한 적용으로 인해 혜택을 받았으며, 이는 일관된 조명이 이미지 처리에서 점점 더 흔해집니다. 그러나 비디오 재실체 분야에서는 높은 훈련 비용과 다각화 된 고품질 비디오 재 실럼 화 데이터 세트의 부족으로 인해 기술 진보가 상대적으로 뒤떨어져 있습니다.
프레임별로 비디오 프로세싱 프레임에 이미지 재배치 모델을 적용하면 종종 광원의 불일치 및 재 조정 모양의 변동과 같은 일련의 문제가 발생하여 비디오에서 깜빡이는 경우에도 심각한 영향을 미칩니다. 시청 경험.
이러한 과제를 해결하기 위해 연구팀은 훈련없이 시간이 많이 걸리는 비디오 재실행을 달성 할 수있는 혁신적인 방법 인 Light-A-Video를 제안했습니다. Light-a-Video는 이미지 재배치 모델의 장점을 그릴뿐만 아니라 비디오에서 조명의 일관성을 크게 향상시키기 위해 두 가지 주요 모듈을 도입합니다.
먼저, 연구원들은 일관된 가벼운주의 (CLA) 모듈을 개발했습니다. 이 모듈은 자체 변환 계층 내에서 크로스 프레임 상호 작용을 향상시켜 배경 광원 생성을 효과적으로 안정화시켜 비디오에서 광원의 점프 및 불일치를 피합니다.
둘째, 광학 전송 독립성의 물리적 원리를 기반으로, 연구팀은 소스 비디오의 모양을 무거운 조명의 모양과 혼합하기 위해 선형 퓨전 전략을 채택했습니다. PLF (Progressive Light Fusion) 전략을 통해, 광선의 부드러운 전이가 보장되어 비디오의 시각적 일관성을 더욱 향상시킵니다.
실험에서 Light-A-Video는 우수한 성능을 보여 주었으며, 고품질 이미지 출력을 유지하면서 중장비 비디오의 시간 일관성을 크게 향상 시켰습니다. 처리 프레임 워크는 먼저 소스 비디오에서 노이즈 처리를 수행 한 다음 VDM 모델을 통해 점차 거부합니다. 각 단계에서, 예측 된 노이즈가없는 구성 요소는 일관된 대상으로 작용하는 반면, 일관된 가벼운주의 모듈은 고유 한 조명 정보를 주입하여이를 무거운 빛 대상으로 변환합니다. 마지막으로, 프로그레시브 라이트 퓨전 전략은 두 가지 목표를 결합하여 퓨전 목표를 형성하여 현재 단계에보다 세련된 방향을 제공합니다.
Light-a-Video의 성공은 비디오 재배치 기술의 큰 잠재력을 보여줄뿐만 아니라 향후 관련 연구를위한 새로운 아이디어와 방향을 제공합니다. 이 기술의 적용은 영화 및 텔레비전 제작 분야, 가상 현실 등의 혁신적인 변화를 가져올 것으로 예상됩니다.
핵심 사항 :
Light-a-Video는 비디오 재배치에서 시간 일관성을 달성하도록 설계된 교육이없는 기술입니다.
일관된 가벼운주의 모듈과 프로그레시브 광 융합 전략은 비디오 재배치에서 광원 불균일성 문제를 해결하기 위해 채택됩니다.
실험에 따르면 Light-A-Video는 중장비 비디오의 시간 일관성과 이미지 품질을 크게 향상시킵니다.