Tencent AI Lab과 Tencent PCG의 ARC Lab은 StereoCrafter라는 새로운 프레임워크를 공동으로 출시했습니다. 이 기술은 일반 2D 비디오를 고화질 입체 3D 비디오로 변환하여 몰입형 경험에 혁신적인 변화를 가져올 수 있습니다. StereoCrafter는 딥 러닝 기술을 사용하여 기존 3D 비디오 변환 방법의 한계를 극복하고 생성 효과를 크게 향상시키며, 증가하는 3D 콘텐츠 수요를 충족하기 위해 다양한 디스플레이 장치의 고화질 요구 사항에 적응할 수 있습니다.
최근 Tencent AI Lab과 Tencent PCG의 ARC Lab은 일반 2D 비디오를 고화질 입체 3D 비디오로 변환할 수 있는 StereoCrafter라는 새로운 프레임워크를 공동으로 출시했습니다.
이러한 혁신은 특히 몰입형 경험 분야에서 증가하는 3D 콘텐츠 수요에 부응합니다. StereoCrafter는 기본 모델의 장점을 최대한 활용하고 기존 변환 방법의 한계를 극복하며 생성 효과를 크게 향상하고 생성된 콘텐츠가 다양한 디스플레이 장치의 높은 충실도 요구 사항을 충족할 수 있도록 보장합니다.
시스템의 핵심은 두 가지 주요 단계로 구분됩니다. 첫 번째 단계는 깊이 정보를 기반으로 비디오를 다시 매핑하고, 폐색 정보를 추출하며, 동시에 비디오 변환을 수행하는 것입니다. 두 번째 단계는 입체 비디오를 복구하는 것입니다. 이 시스템은 사전 훈련된 안정적인 비디오 확산 모델을 기본으로 사용하고 입체 비디오 인페인팅 작업을 위한 미세 조정 프로토콜을 도입합니다. 다양한 길이와 해상도의 비디오 입력을 처리하기 위해 팀에서는 시스템이 다양한 입력 조건에 유연하게 적응할 수 있도록 자동 회귀 전략과 슬라이싱 처리 기술도 연구했습니다.
교육을 지원하기 위해 팀은 대규모의 고품질 데이터세트를 생성하는 정교한 데이터 처리 파이프라인을 구축했습니다. 데이터 세트 구성 과정에서 연구팀은 수많은 입체 영상 중에서 선택하고 해당 영상 깊이를 생성하고 변환된 영상 및 폐색 정보를 생성하여 오른쪽 영상이 실제 벤치마크 역할을 하는지 확인했습니다. 이러한 혁신적인 방법은 2D 비디오를 3D 비디오로 변환하기 위한 실용적인 솔루션을 제공하여 Apple Vision Pro 및 기타 3D 디스플레이 장치가 더욱 흥미진진한 몰입형 경험을 제공할 수 있도록 해줍니다.
StereoCrafter는 기술적 혁신일 뿐만 아니라 디지털 미디어를 경험하는 방식에 잠재적인 변화를 가져오고 잠재적으로 디지털 콘텐츠를 보고 경험하는 방식을 변화시킵니다.
프로젝트 입구: https://stereocrafter.github.io/
가장 밝은 부분:
StereoCrafter는 새로운 기술을 사용하여 2D 비디오를 몰입형 입체 3D 비디오로 효율적으로 변환합니다.
시스템은 생성 효과를 향상시키기 위한 깊이 비디오 재구성과 입체 비디오 복구라는 두 가지 주요 단계로 나뉩니다.
연구팀은 알고리즘 훈련을 지원하고 출력 품질을 보장하기 위해 고품질 데이터 세트를 구축했습니다.
StereoCrafter의 등장은 2D에서 3D 비디오 변환 기술의 큰 도약을 의미합니다. 효율적인 변환 효율성과 충실도 높은 출력 품질은 3D 콘텐츠의 생성과 소비를 크게 향상시켜 사용자에게 더욱 실감나는 시청각 경험을 선사할 것입니다. 앞으로 이 기술은 영화, 게임, 가상현실 등 다양한 분야에서 폭넓게 활용될 것으로 예상된다.