Исследователи из ETH Zurich совершили прорыв в области монокулярной оценки глубины. Они умело использовали модель Marigold с открытым исходным кодом Stable Diffusion и добились высокопроизводительной оценки глубины без необходимости использования данных для обучения изображений реальной глубины за счет точной настройки модуля шумоподавления U-Net. Новаторство этого исследования заключается в том, что оно использует синтетические данные для обучения модели и объединяет их с методом оценки глубины аффинного инварианта для эффективного решения проблемы ошибок, вызванной неопределенностью внутренних параметров камеры, и улучшения общей производительности модели в неизвестных сценах. способность.
Исследователи из ETH Zurich достигли инноваций в монокулярной оценке глубины, модифицировав модель Marigold с открытым исходным кодом Stable Diffusion. Эта модель обеспечивает превосходную производительность за счет точной настройки модуля шумоподавления U-Net без необходимости использования фактических данных обучения глубины изображения. Обучая синтетические данные, Мэриголд может изучить широкий спектр сценариев и улучшить возможности обобщения невидимых наборов данных. Основная техническая идея состоит в том, чтобы использовать предварительные знания о стабильной диффузии и применить аффинно-инвариантный метод оценки глубины, чтобы устранить ошибку оценки глубины, вызванную неопределенностью внутренних параметров камеры.
Этот результат исследования дает новую идею для монокулярной технологии оценки глубины. Ожидается, что ее высокая эффективность и способность к обобщению будут широко использоваться в таких областях, как автономное вождение и навигация роботов. Стоит с нетерпением ждать ее будущего развития. Данное исследование полностью демонстрирует потенциал модели устойчивой диффузии и ценность ее применения при решении практических задач.