Google Research Institute에서 발표 한 최신 Recapture 기술은 비디오 편집 분야에 혁신을 가져 왔습니다. 기존 비디오를 기반으로 사용자 정의 카메라 트랙으로 새로운 버전을 생성하여 다양한 관점에서 비디오 컨텐츠를 볼 수있게하는 동시에 원래 비디오에서 원래 모션 상태를 완벽하게 유지할 수 있습니다. 이 기술은 마술과 같으며, 이는 일반적인 비디오를 여러 각도와 관점에서 흥미로운 이미지로 변환 할 수 있습니다.
Google Research는 최근 Recapture라는 새로운 기술을 출시하여 완전히 새로운 관점에서 자신의 비디오를 다시 경험할 수 있습니다. Recapture Technology는 사용자가 제공 한 비디오를 기반으로 사용자 지정 카메라 트랙으로 새로운 버전을 생성 할 수 있습니다. 즉, 원본 비디오에서 사용할 수없는 관점에서 비디오 컨텐츠를보고 문자의 원래 동작을 유지할 수 있습니다. 그리고 비디오의 장면.
Recapture는 귀하가 제공하는 비디오를 기반으로 완전히 새로운 관점으로 새 버전을 생성 할 수있는 마법 편집기와 같습니다. 예를 들어, 휴대 전화로 연주하는 개 비디오를 찍은 경우 Recapture는 강아지의 관점에서 찍은 비디오를 생성하는 데 도움이 될 수 있습니까?
그렇다면 Recapture는 어떻게이 "마법"을 구현합니까? 먼저 멀티 뷰 확산 모델 또는 포인트 클라우드 렌더링 기술을 사용하여 원하는 새로운 관점을 기반으로 거친 비디오를 생성합니다. 이 거친 비디오는 그림이 불완전하고 시간이 일관되지 않을 수 있으며 술 취함과 같은 비틀 거립니다.
다음으로 Recapture는 비밀 무기 인 "Mask Video Fine Tuning"기술을 사용 하여이 거친 비디오를 "절묘하게 제작"합니다. 이 기술은 Space Lora와 Time Lora의 두 가지 특수 도구로 비디오를 수리하고 최적화 할 수있는 숙련 된 장인과 같습니다. Space Lora는 오리지널 비디오에서 캐릭터와 장면 정보를 배우는 책임있는 "미용사"와 같습니다. Time Lora는 비디오 재생을보다 매끄럽고 자연스럽게 만들기 위해 새로운 관점에서 장면 운동을 학습하는 데 책임이있는 "리듬 마스터"입니다.
이 두 "마스터"를 공동 창출 한 후, 거친 비디오는 명확하고 일관된 새로운 비디오로 변형되었습니다. 그뿐만 아니라 비디오를보다 완벽하게 만들기 위해 Recapture는 Sdedit 기술을 사용하여 메이크업과 마찬가지로 비디오를 완성하여 비디오를보다 섬세하고 섬세하게 만듭니다.
Google의 연구원들은 Recapture가 많은 교육 데이터를 필요로하지 않고 다양한 유형의 비디오 및 관점 변환을 처리 할 수 있다고 말합니다. 이것은 당신이 평범한 비디오 애호가 일지라도, 요약으로 전문가 등급의 "멀티 카메라"비디오를 쉽게 만들 수 있음을 의미합니다.
프로젝트 주소 : https://generative-video-camera-controls.github.io/
간단하고 사용하기 쉬운 기능과 강력한 기능을 통해 Recapture는 멀티 뷰 비디오 제작의 임계 값을 크게 줄여 비디오 제작의 새로운 가능성을 제공했습니다. 앞으로이 기술은 영화 제작, 게임 개발 및 가상 현실 분야에서 널리 사용될 수있어보다 몰입감있는 시각적 경험을 제공합니다.