싱글샷 비디오의 3차원 모션 추적은 컴퓨터 비전 분야에서 항상 어려운 문제였으며, 특히 픽셀 수준의 정확성을 추구하고 긴 비디오 시퀀스를 처리할 때 더욱 그렇습니다. 기존 방법은 효율성, 정확성, 견고성 측면에서 많은 과제에 직면해 있으며 실제 적용 요구 사항을 충족하기 어렵습니다. Downcodes의 편집자는 효율적이고 정확한 3차원 동작 추적에 획기적인 발전을 이룬 최신 연구 결과인 DELTA를 소개합니다.
더욱이 기존 기술은 연산량이 많아 긴 영상을 처리할 때 효율성을 유지하기 어렵다. 동시에 장기 추적은 카메라 움직임 및 객체 폐색과 같은 문제의 영향을 받아 추적 오류 또는 오류가 발생합니다.
현재 비디오 시퀀스 모션 추정 방법에는 고유한 장점과 단점이 있습니다. 광학 흐름 기술은 조밀한 픽셀 추적을 제공하지만 복잡한 장면, 특히 긴 시퀀스를 처리할 때 탄력성이 부족합니다.
장면 흐름은 광학 흐름의 확장으로 RGB-D 데이터나 포인트 클라우드를 통해 조밀한 3차원 동작을 추정하지만 긴 시퀀스에서는 여전히 효율적으로 적용하기 어렵습니다. 포인트 추적 방법은 모션 궤적을 캡처하고 공간적 및 시간적 주의를 결합하여 보다 원활한 추적을 달성할 수 있지만 높은 계산 비용으로 인해 여전히 밀집된 모니터링을 달성하기 어렵습니다. 또한 재구성 기반 추적 방법은 변형 필드를 활용하여 동작을 추정하지만 실시간 응용 프로그램에서는 실용적이지 않습니다.
최근 매사추세츠대학교 애머스트(Amherst) 연구팀과 MIT-IBM 왓슨 인공지능연구소(Watson Artificial Intelligence Laboratory), 스냅(Snap)은 효율적인 추적을 위해 설계된 방식인 DELTA(Dense Efficient Long-range3D Tracking for Any video)를 제안했다. 3차원 공간의 각 픽셀. DELTA는 저해상도 추적으로 시작하여 시공간 주의 메커니즘을 사용하고 주의 기반 업샘플러를 적용하여 고해상도 정확도를 달성합니다. 주요 혁신에는 명확한 모션 경계를 위한 업샘플러, 효율적인 공간 주의 아키텍처, 향상된 추적 성능을 위한 로그 깊이 표현이 포함됩니다.
DELTA는 CVO 및 Kubric3D 데이터 세트에서 고급 결과를 달성하여 AJ(평균 Jaccard) 및 APD3D(3차원 평균 위치 차이)와 같은 지표에서 10% 이상 향상되었으며 TAP-Vid3D와 같은 3D 포인트 추적 벤치마크에서도 수행되었습니다. 그리고 LFOdyssey가 뛰어납니다. 기존 방법과 달리 DELTA는 대규모로 조밀한 3D 추적을 달성하고 업계 최고의 정확도를 유지하면서 이전 방법보다 8배 이상 빠르게 실행됩니다.
실험에 따르면 DELTA는 3차원 추적 작업에서 속도와 정확성 모두 이전 방법을 능가하는 성능을 발휘하는 것으로 나타났습니다. DELTA는 5600개 이상의 비디오가 포함된 Kubric 데이터 세트에서 훈련되었으며 손실 기능은 2D 좌표, 깊이 및 가시성 손실을 결합합니다.
벤치마크 테스트에서 DELTA는 장거리 2D 추적과 Dense 3D 추적에서 각각 CVO와 Kubric3D에서 가장 높은 점수를 얻어 다른 방법보다 훨씬 빠르게 작업을 완료했습니다. 로그 깊이 표현, 공간 주의력, 주의 기반 업샘플러와 같은 DELTA의 설계 선택은 다양한 추적 시나리오에서 정확성과 효율성을 크게 향상시킵니다.
DELTA는 비디오 프레임의 모든 픽셀을 추적할 수 있는 효율적인 방법으로, 밀도가 높은 3D 및 3D 추적에서 정확성과 더 빠른 런타임을 달성합니다. 이 방법은 장기간 폐쇄된 지점에서 문제에 직면할 수 있으며, 수백 프레임 이하의 짧은 비디오에서 최상의 성능이 나타납니다. DELTA의 3D 추적 정확도는 사용된 단안 깊이 추정의 정확도와 시간적 안정성에 따라 달라집니다. 단안 깊이 추정에 대한 연구 진행이 이 방법의 성능을 더욱 향상시킬 것으로 기대됩니다.
프로젝트 입구: https://snap-research.github.io/DELTA/
전체적으로 DELTA는 효율적인 3차원 모션 추적 분야에서 획기적인 발전을 이루었으며, 높은 정확성, 효율성 및 확장성을 통해 비디오 처리 분야에서 큰 응용 잠재력을 갖고 있습니다. 앞으로도 단안 깊이 추정 기술의 지속적인 발전으로 DELTA의 성능은 더욱 향상될 것으로 기대된다.