Редактор Downcodes сообщает: Исследовательские группы из Пражского технического университета в Чехии и Швейцарского федерального технологического института в Цюрихе недавно совершили крупный прорыв. Они разработали инновационный метод под названием WildGaussians, который значительно повышает производительность трехмерного гауссовского распыления. 3DGS) Возможности обработки неструктурированных структур в наборах изображений. Этот технологический прорыв позволяет достигать высококачественных 3D-реконструкций с использованием неструктурированных наборов изображений, таких как фотографии достопримечательностей, собранные в Интернете, открывая новые возможности для таких областей, как виртуальная реальность, дополненная реальность и компьютерное зрение. WildGaussians в основном решает такие проблемы, как изменение внешнего вида и освещения, а также затенение движущихся объектов, с помощью двух основных компонентов: моделирования внешнего вида и моделирования неопределенности, а также работает со сложными наборами данных, такими как наборы данных NeRF On-the-go и фототуризма. Отлично, это реально. Время рендеринга также достигло впечатляющих 117 изображений в секунду.
Исследовательская группа из Пражского технического университета в Чехии и ETH Zurich в Швейцарии недавно представила инновационный метод под названием WildGaussians, который значительно улучшает возможности технологии 3D-гауссовского распыления (3DGS) при обработке наборов неструктурированных изображений. Этот прорыв позволяет добиться высококачественной 3D-реконструкции из неструктурированных наборов изображений, таких как фотографии достопримечательностей, собранные из Интернета.
WildGaussians в основном решает две ключевые задачи: изменение внешнего вида и освещения, а также проблемы окклюзии движущихся объектов. Исследовательская группа решила эти проблемы, разработав два основных компонента: моделирование внешнего вида и моделирование неопределенности.
Моделирование внешнего вида позволяет системе обрабатывать изображения, сделанные в разных условиях, например, в разное время или в разную погоду. Метод использует обучаемое встраивание для каждого обучающего изображения и распределения Гаусса и настраивает цвет распределения Гаусса в соответствии с соответствующими условиями съемки через нейронную сеть (MLP).
Моделирование неопределенности помогает выявлять и игнорировать препятствия, такие как пешеходы или автомобили, во время обучения. Исследователи использовали предварительно обученные функции DINOv2, чтобы улучшить адаптируемость системы к изменениям ландшафта.
С точки зрения производительности, WildGaussians превосходит существующие современные методы обработки сложных наборов данных, таких как наборы данных NeRF On-the-go и Photo Tourism. В то же время этот метод достиг скорости рендеринга в реальном времени 117 изображений в секунду на графическом процессоре Nvidia RTX4090.
Хотя WildGaussians добились значительного прогресса в области 3D-реконструкции, исследователи признают, что метод все еще имеет некоторые ограничения, такие как представление зеркальных бликов на объектах. Они планируют и дальше совершенствовать этот подход в будущем, включив в него такие методы, как диффузионное моделирование.
Это исследование открывает новые возможности для надежной, универсальной и фотореалистичной 3D-реконструкции на основе зашумленных пользовательских данных, что, как ожидается, окажет глубокое влияние во многих областях, таких как виртуальная реальность, дополненная реальность и компьютерное зрение.
Появление WildGaussians знаменует собой важный скачок в технологии 3D-реконструкции, а ее эффективность и высокая точность обеспечивают прочную основу для многих будущих приложений. Редактор Downcodes надеется, что в будущем эту технологию можно будет усовершенствовать, чтобы предоставить нам более реалистичный и захватывающий цифровой опыт.