ETH Zurich의 연구원들은 단안 깊이 추정 분야에서 획기적인 발전을 이루었습니다. 그들은 Stable Diffusion 오픈 소스 Marigold 모델을 교묘하게 활용하고 노이즈 제거 U-Net 모듈을 미세 조정하여 실제 깊이 이미지 교육 데이터 없이도 고성능 깊이 추정을 달성했습니다. 본 연구의 혁신은 합성 데이터를 사용하여 모델을 훈련시키고 이를 아핀 불변 깊이 추정 방법과 결합하여 카메라 내부 매개변수의 불확실성으로 인해 발생하는 오류 문제를 효과적으로 해결하고 알 수 없는 장면에서 모델의 일반적인 성능을 향상시킨다는 것입니다. 화 능력.
ETH Zurich의 연구원들은 Stable Diffusion 오픈 소스 Marigold 모델을 수정하여 단안 깊이 추정의 혁신을 달성했습니다. 이 모델은 실제 깊이 영상 학습 데이터 없이 노이즈 제거 U-Net 모듈을 미세 조정하여 뛰어난 성능을 달성합니다. Marigold는 합성 데이터에 대한 교육을 통해 광범위한 시나리오를 학습하고 보이지 않는 데이터 세트에 대한 일반화 기능을 향상시킬 수 있습니다. 핵심 기술 아이디어는 Stable Diffusion에 대한 사전 지식을 활용하고 아핀 불변 깊이 추정 방법을 채택하여 카메라 내부 매개 변수의 불확실성으로 인해 발생하는 깊이 추정 오류를 제거하는 것입니다.
이번 연구 결과는 단안 깊이 추정 기술에 대한 새로운 아이디어를 제시하며, 자율주행, 로봇 내비게이션 등 다양한 분야에서 폭넓게 활용될 수 있을 것으로 기대된다. 이 연구는 안정 확산 모델의 잠재력과 실제 문제 해결에 대한 적용 가치를 충분히 보여줍니다.