홍콩 과학 기술 대학과 Tsinghua University의 연구팀은 Amazing AI Framework Dimensionx를 공동으로 출시하여 하나의 이미지로 세부적인 3D 및 4D 장면을 생성 할 수 있습니다. 이 획기적인 기술은 제어 된 비디오 확산 기술을 사용하여 단일 그림에서 공간 및 시간 정보를 추출하고 연속 비디오 프레임으로 변환하여 궁극적으로 게임 개발, 가상 현실 및 영화 및 TV 제작 분야를위한 완전한 3D 또는 4D 장면으로 결합됩니다. 혁명적 변화를 가져 왔습니다. DimensionX는 장면의 관점과 객체의 움직임을 각각 제어하는 S-Director 및 T-Director의 두 가지 강력한 도구가 장착되어 있으며 장면의 정확한 제어를 달성하며 조합으로 사용하여보다 복잡하고 현실적으로 생성 할 수 있습니다. 장면.
홍콩 과학 기술 대학의 연구팀과 Tsinghua University는 Dimensionx라는 새로운 AI 프레임 워크를 시작했습니다. Dimensionx라는 새로운 AI 프레임 워크는 하나의 이미지로 자세한 3D 및 4D 장면을 생성하여 게임 개발, 가상 현실 및 영화 및 TV 분야를 가져올 수 있습니다. 생산.
DimensionX의 핵심 마법은 제어 가능한 비디오 확산 기술입니다. 그것은 단일 그림에서 공간 및 시간 정보를 추출하여 연속 비디오 프레임으로 변환 할 수있는 숙련 된 "우주 마술사"와 같습니다.
이 비디오 프레임은 영화 필름과 같습니다. 장면의 다양한 각도와 동적 변화를 녹음하고 마침내 완전한 3D 또는 4D 장면으로 결합합니다.
"Space Magic"을 정확하게 제어하기 위해 DimensionX에는 S- 감독과 T- 디렉터라는 두 가지 강력한 "Magic Wands"가 장착되어 있습니다. S-Director는 공간 차원을 담당하며 카메라로 장면을 자유롭게 셔틀하는 것처럼 관점의 움직임을 제어 할 수 있습니다.
T- 디렉터는 시간 치수를 담당하며, 이는 물체의 움직임을 제어하고 장면을 "라이브"로 만들 수 있습니다.
더 놀라운 점은 DimensionX 가이 두 "Magic Wands"를 결합하여보다 복잡하고 사실적인 장면을 생성 할 수 있다는 것입니다!
예를 들어, 실제 4D 세계에있는 것처럼 물체가 움직이는 동안 객체 주위에서보기 각도를 회전시킬 수 있습니다!
물론 Dimensionx의 "Magic"은 그 이상입니다. 또한 다양한 복잡한 카메라 움직임을 처리 할 수있는 궤적 인식 메커니즘 설계와 같은 실제 장면에 최적화되어 생성 된 3D 장면을보다 현실적이고 신뢰할 수 있습니다.
또한 DimensionX는 4D 장면에서 객체의 외관의 일관성을 보장하고 "깨진"의 당혹스러운 상황을 피할 수있는 신원 보관 노이즈 전략을 도입했습니다.
DimensionX의 출현은 의심 할 여지없이 3D 및 4D 장면 생성 필드에 혁신적인 혁신을 가져 왔습니다. 그것은 간단한 운영과 놀라운 효과뿐만 아니라 광범위한 응용 프로그램을 가지고 있으며 게임 개발, 가상 현실, 영화 및 텔레비전 제작과 같은 많은 분야에서 사용할 수 있습니다. 나는 가까운 시일 내에 Dimensionx가 우리를 "우주 매직"의 더 흥미로운 세계로 이끌 것이라고 믿습니다!
프로젝트 주소 : https://chenshuo20.github.io/dimensionx/
종이 주소 : https://arxiv.org/pdf/2411.04928
Dimensionx는 간단한 운영, 놀라운 효과 및 광범위한 응용 프로그램 전망을 통해 혁신적인 혁신을 3D 및 4D 장면 생성 분야에 가져 왔으며 향후 응용 프로그램에 큰 잠재력을 가지고 있습니다.