Downcodes小编报道：捷克布拉格技术大学和瑞士苏黎世联邦理工学院的研究团队近日取得重大突破，他们开发出名为WildGaussians的创新方法，显着提升了3D高斯溅射（3DGS）技术在处理非结构化图像集方面的能力。这项技术突破使得利用网络上收集的地标照片等非结构化图像集实现高质量3D重建成为可能，为虚拟现实、增强现实和计算机视觉等领域带来了新的可能性。 WildGaussians主要通过外观建模和不确定性建模两个核心组件来解决外观和光照变化以及移动物体遮挡等问题，在NeRF On-the-go和照片旅游数据集等具有挑战性的数据集上表现优异，其实时渲染速度也达到了令人瞩目的每秒处理117张图像。
捷克布拉格技术大学和瑞士苏黎世联邦理工学院的研究团队最近推出了一种名为WildGaussians的创新方法，该方法显着提升了3D高斯溅射（3DGS）技术在处理非结构化图像集时的能力。这一突破性进展使得从网络上收集的地标照片等非结构化图像集实现高质量3D重建成为可能。
WildGaussians主要解决了两个关键挑战:外观和光照变化，以及移动物体的遮挡问题。研究团队通过开发外观建模和不确定性建模两个核心组件来应对这些挑战。
外观建模允许系统处理在不同条件下（如不同时间或天气）拍摄的图像。该方法为每个训练图像和高斯分布使用可训练的嵌入，并通过神经网络(MLP)调整高斯分布的颜色以适应相应的拍摄条件。
不确定性建模则有助于在训练过程中识别和忽略行人或汽车等遮挡物。研究人员利用预先训练的DINOv2特征，提高了系统对景观变化的适应能力。
在性能方面，WildGaussians在NeRF On-the-go和照片旅游数据集等具有挑战性的数据集上表现优异，质量超越了现有最先进方法。同时，该方法在Nvidia RTX4090GPU上实现了每秒处理117张图像的实时渲染速度。
尽管WildGaussians在3D重建领域取得了重大进展，研究人员承认该方法仍存在一些局限性，如物体上镜面高光的表现。他们计划在未来通过整合扩散模型等技术来进一步改进这一方法。
这项研究为从嘈杂的用户生成数据中实现稳健、多功能且具有照片级真实感的3D重建开辟了新的可能性，有望在虚拟现实、增强现实和计算机视觉等多个领域产生深远影响。
WildGaussians的出现标志着3D重建技术的一次重要飞跃，其高效性和高精度为未来诸多应用提供了坚实的基础。 Downcodes小编期待未来该技术能够进一步完善，为我们带来更加逼真和沉浸式的数字体验。