Google DeepMind 팀은 숙련된 편집자처럼 동영상을 여러 레이어로 분해하고 사람, 사물, 배경을 정확하게 분리하고 심지어 차단된 부분을 '브레인' '채워'서 다양한 멋진 결과를 얻을 수 있는 '제너레이티브 옴니매트(Generative Omnimatte)'라는 AI 모델을 출시했습니다. 특수 효과. 이 기술은 기존 비디오 매트 기술의 한계를 뛰어넘어 그린 스크린이나 깊이 정보 없이도 복잡한 비디오 편집 작업을 쉽게 완료할 수 있습니다. 지루한 작업은 이제 그만, 비디오 편집을 간단하고 사용하기 쉽게 만들어 누구나 비디오 편집 마스터가 될 수 있습니다!
영화 속 멋진 특수 효과를 기억하시나요? 물체가 허공에서 사라지고 장면이 즉시 바뀌는 것에 매료되셨나요? 이제 Google DeepMind 팀은 이러한 특수 효과를 가능하게 하는 "Generative Omnimatte"라는 AI 모델을 개발했습니다. 더 이상 영화에만 국한되지 않습니다! 이 AI는 비디오를 여러 레이어로 나눌 수 있는 숙련된 편집자와 같습니다. 각 레이어에는 완전한 개체와 그림자, 반사 및 기타 효과가 포함되어 있습니다.
기존의 비디오 매트 기술은 일반적으로 그린 스크린 촬영이나 정확한 깊이 정보에 의존하므로 작동이 매우 복잡합니다. 이 AI 모델은 이러한 제한에서 완전히 자유롭습니다. 추가 정보가 필요하지 않으며 비디오의 캐릭터, 개체 및 배경을 완벽하게 분리할 수 있으며 가려진 부분을 "브레인 필"할 수도 있습니다.
이번 AI 모델의 핵심은 '캐스퍼(Casper)'라는 동영상 제거 모델이다. 마치 영상에서 지정한 물체를 정확하게 지울 수 있는 마법의 지우개와도 같습니다. 그림자와 반사는 사라지고 배경은 그대로 유지됩니다.
더 중요한 것은 사용자 요구에 따라 개체와 배경을 재결합하여 캐릭터를 한 장면에서 다른 장면으로 "순간이동"하거나 개체의 이동 속도를 변경하거나 심지어 시간을 되돌리도록 만드는 등 다양한 창의적 효과를 얻을 수도 있다는 것입니다!
이 아티팩트를 사용하면 향후 비디오 편집이 매우 쉬워집니다. 원하는 특수 효과를 추가할 수 있습니다. 예를 들어, 누구나 편집 마스터가 될 수 있습니다. 친구를 집에서 해변으로 "텔레포트"하려면 캐스퍼를 사용하여 친구를 잘라서 해변 배경에 배치하기만 하면 됩니다. 동영상에서 친구들이 뒤로 걸어가도록 할 수도 있습니다. , 또는 여러 친구들에게 복사하여 함께 춤을 추어보세요. 생각하는 것도 흥미로울 것입니다!
물론 Generative Omnimatte는 아직 개발 단계에 있으며, 아직 해결해야 할 몇 가지 사소한 버그가 있습니다. 예를 들어 영상에 매우 유사한 물체가 여러 개 있는 경우 AI는 누가 누구인지 구분하지 못하고 혼동할 수 있습니다. 게다가 기둥이 휘는 등 물체가 변형되면 AI는 이를 어떻게 처리해야 할지 알 수 없게 된다. 하지만 저는 Google DeepMind 팀이 곧 이러한 문제를 해결하고 Generative Omnimatte를 더욱 완벽하게 만들 것이라고 믿습니다!
프로젝트 주소: https://gen-omnimatte.github.io/
논문 주소: https://arxiv.org/pdf/2411.16683
Generative Omnimatte는 비디오 편집에 혁명적인 변화를 가져왔고 앞으로 더 놀라운 응용 프로그램과 특수 효과를 가져올 것입니다. 기다려 봅시다!