Downcodes 編集者のレポート: チェコ共和国のプラハ工科大学とチューリッヒのスイス連邦工科大学の研究チームは、最近、3D ガウス スパッタリングのパフォーマンスを大幅に向上させる、WildGaussians と呼ばれる革新的な手法を開発しました。 3DGS) 画像セット内の非構造化構造を処理する機能。この技術的ブレークスルーにより、インターネット上で収集されたランドマークの写真などの非構造化画像セットを使用して高品質の 3D 再構成を実現することが可能になり、仮想現実、拡張現実、コンピューター ビジョンなどの分野に新たな可能性がもたらされます。 WildGaussians は主に、外観モデリングと不確実性モデリングという 2 つのコア コンポーネントを通じて、外観と照明の変化や移動オブジェクトのオクルージョンなどの問題を解決し、NeRF On-the-go やフォトツーリズム データ セットなどの困難なデータ セットに対して実行します。レンダリング速度も 1 秒あたり 117 画像という驚異的な速度に達しました。
チェコ共和国のプラハ工科大学とスイスのチューリッヒ工科大学の研究チームは最近、WildGaussians と呼ばれる革新的な手法を導入しました。これにより、非構造化画像セットを処理する際の 3D ガウス スパッタリング (3DGS) テクノロジの機能が大幅に向上します。この画期的な進歩により、インターネットから収集されたランドマークの写真などの非構造化画像セットから高品質の 3D 再構成を実現できるようになります。
WildGaussians は主に、外観と照明の変更、および移動オブジェクトのオクルージョンの問題という 2 つの重要な課題を解決します。研究チームは、外観モデリングと不確実性モデリングという 2 つのコア コンポーネントを開発することで、これらの課題に対処しました。
外観モデリングにより、システムは、異なる時間や天候など、異なる条件下で撮影された画像を処理できます。この方法では、トレーニング画像ごとにトレーニング可能な埋め込みとガウス分布を使用し、ニューラル ネットワーク (MLP) を通じてガウス分布の色を対応する撮影条件に合わせて調整します。
不確実性モデリングは、トレーニング中に歩行者や車などの遮蔽物を特定して無視するのに役立ちます。研究者らは、事前トレーニングされた DINOv2 機能を使用して、状況の変化に対するシステムの適応性を向上させました。
パフォーマンスの点では、WildGaussians は、NeRF On-the-go データセットや Photo Tourism データセットなどの困難なデータセットに対して既存の最先端の手法を上回ります。同時に、この方法では、Nvidia RTX4090 GPU 上で 1 秒あたり 117 画像のリアルタイム レンダリング速度を達成しました。
WildGaussians は 3D 再構築の分野で大きな進歩を遂げましたが、研究者らは、この方法にはオブジェクト上の鏡面ハイライトの表現など、まだいくつかの制限があることを認めています。彼らは、拡散モデリングなどの技術を組み込むことで、将来的にこのアプローチをさらに改善する予定です。
この研究は、ノイズの多いユーザー生成データから堅牢かつ多用途かつフォトリアリスティックな 3D 再構成の新たな可能性を切り開き、仮想現実、拡張現実、コンピューター ビジョンなどの複数の分野に大きな影響を与えることが期待されています。
WildGaussians の出現は 3D 再構築技術の重要な進歩を示し、その効率と高精度は将来の多くのアプリケーションに強固な基盤を提供します。 Downcodes の編集者は、このテクノロジーが将来的にさらに改良され、よりリアルで没入型のデジタル体験がもたらされることを期待しています。