다운코드 편집자는 Google Research에서 출시한 최신 ReCapture 기술을 이해하도록 안내합니다! 이 놀라운 기술은 귀하의 비디오를 완전히 새로운 관점에서 재해석하여 전례 없는 시청 경험을 제공합니다. 단순한 영상 편집이 아닌, AI 기술을 활용해 제공한 영상을 기반으로 맞춤형 카메라 궤적을 갖춘 새 버전을 생성해 휴대폰으로 촬영한 일상 영상에도 여러 대의 카메라로 촬영할 수 있는 것처럼 보인다. .영화와 같은 효과를 낼 수도 있습니다. 준비됐나요? ReCapture의 마법을 함께 탐험해 보세요!
Google Research에서는 최근 ReCapture라는 새로운 기술을 출시했습니다. 이를 통해 자신의 동영상을 새로운 관점에서 다시 경험할 수 있습니다. ReCapture 기술은 사용자가 제공한 비디오를 기반으로 맞춤형 카메라 트랙이 포함된 새 버전을 생성할 수 있습니다. 즉, 원본 비디오에서는 볼 수 없는 관점에서 비디오 콘텐츠를 볼 수 있으며, 캐릭터와 장면의 원래 움직임을 그대로 유지할 수 있습니다. 비디오.
ReCapture는 제공한 비디오를 기반으로 새로운 관점으로 새 버전을 생성할 수 있는 마법의 편집기와 같습니다. 예를 들어 강아지가 휴대폰을 가지고 노는 모습을 동영상으로 촬영한다면, ReCapture를 통해 강아지의 관점에서 촬영한 동영상을 생성할 수 있습니다. 놀랍지 않나요?
그렇다면 ReCapture는 어떻게 이 "마법"을 달성합니까? 실제로 그 뒤에 숨은 원리는 복잡하지 않습니다. 먼저 다시점 확산 모델 또는 포인트 클라우드 렌더링 기술을 사용하여 원하는 새로운 관점을 기반으로 대략적인 비디오를 생성합니다. 이 거친 영상은 마치 다듬지 않은 옥과 같을 수도 있고, 그림이 불완전할 수도 있고, 시간이 일치하지 않을 수도 있고, 취한 듯 흔들리고 있을 수도 있습니다.
다음으로 ReCapture는 비밀 무기인 "마스크 비디오 미세 조정" 기술을 사용하여 이 거친 비디오를 "세밀하게 다듬는" 것입니다. 이 기술은 공간 LoRA와 시간 LoRA라는 두 가지 특수 도구를 사용하여 비디오를 복구하고 최적화하는 숙련된 장인과 같습니다. Spatial LoRA는 마치 '미용사'처럼 원본 영상의 등장인물과 장면 정보를 학습해 영상을 더욱 선명하고 아름답게 만들어주는 역할을 담당합니다. Time LoRA는 영상 재생을 보다 부드럽고 자연스럽게 만들기 위해 새로운 관점에서 장면의 움직임을 학습하는 "리듬 마스터"입니다.
이 두 '마스터'의 공동 노력을 통해 거친 영상은 선명하고 일관되며 역동적인 새로운 영상으로 탈바꿈했다. 뿐만 아니라 비디오 효과를 더욱 완벽하게 만들기 위해 ReCapture는 SDEdit 기술을 사용하여 메이크업과 마찬가지로 비디오에 최종 터치를 추가하여 비디오를 더욱 세련되고 섬세하게 만듭니다.
Google 연구원들은 ReCapture가 많은 양의 교육 데이터 없이도 다양한 유형의 비디오와 관점 전환을 처리할 수 있다고 말합니다. 즉, 평범한 비디오 애호가라도 ReCapture를 사용하면 전문가 수준의 "멀티 카메라" 비디오를 쉽게 만들 수 있습니다.
프로젝트 주소: https://generative-video-camera-controls.github.io/
ReCapture 기술의 출현은 의심할 여지 없이 비디오 제작 분야에 새로운 가능성을 가져왔습니다. 멀티뷰 영상 제작 과정을 단순화해 더 많은 사람들이 창작의 즐거움을 쉽게 경험할 수 있도록 해준다. 앞으로는 ReCapture가 더 많은 분야에 적용되어 우리에게 더 많은 놀라움을 선사할 것이라고 믿습니다!