カーネギーメロン大学の研究チームは最近、単眼ビデオから人体の時間的に一貫した詳細な 3D モデルを再構築できる画期的な技術 DressRecon を発表しました。 DressReconは、タイトな服装や多視点データを必要とするこれまでの人体再構築手法と異なり、ゆるい服装や物体を保持しているシーンなどにも対応できるため、適用範囲が大幅に広がり、仮想映像制作やアニメーション制作などの分野に革新をもたらします。 Downcodes のエディターは、この素晴らしいテクノロジーについての深い理解を提供します。
最近、カーネギーメロン大学の研究チームは、単眼ビデオから時間一貫性のある人間モデルを再構築することを目的とした「DressRecon」と呼ばれる新技術を発表した。 DressRecon の優れている点は、ビデオを入力して 3D モデルを構築できるだけでなく、複雑な衣服や手持ちのアイテムなどの詳細を復元できることです。
このテクノロジーは、緩い服を着ている場合や手持ちの物体を操作するシナリオに特に適しており、以前のテクノロジーの制限を打ち破ります。これまで、人体を再構築するには、通常、体にぴったりとフィットした衣服を着用するか、データを取得するために多視点のキャリブレーションが必要で、大規模に収集するのが困難な個別のスキャンも必要でした。
「DressRecon」の革新性は、人体の形状に関する一般的な事前知識とビデオ固有の身体変形を組み合わせ、ビデオ内で最適化できることです。
この技術の核心は、身体と衣服の変形を個別に処理できるニューラル暗黙的モデルを学習し、動作モデル層を個別に確立することです。
衣服の微妙な幾何学的特徴を捉えるために、研究チームは人間の姿勢、表面法線、オプティカル フローなどの画像に基づく事前知識を活用しました。この情報は、最適化プロセス中に追加のサポートを提供し、再構成効果をより現実的にします。
DressRecon は、単一のビデオ入力から高忠実度 3D モデルを抽出でき、さらに明示的な 3D ガウスに最適化してレンダリング品質を向上させ、インタラクティブな視覚化をサポートすることもできます。
研究者らは、DressRecon がいくつかの困難な衣服の変形およびオブジェクトの相互作用データセットに対して達成できる高忠実度 3D 再構成効果を実証しました。
また、再構成された仮想人物像はあらゆる角度からレンダリングすることができ、視覚的に非常にインパクトのある効果を発揮します。また、チームは、形状再構築において DressRecon のパフォーマンスを複数のベースライン技術と比較しました。その結果、複雑な変形構造を処理する際に DressRecon がより高い忠実度を示すことがわかりました。
プロジェクト入口: https://jefftan969.github.io/dressrecon/
ハイライト:
? 研究チームは、単眼ビデオによる高品質な人体再構築を実現する DressRecon テクノロジーを発表しました。これは、特に緩い衣服や手持ちの物体のあるシーンに適しています。
? このテクノロジーは、ニューラル暗黙的モデルを利用して、身体と衣服の変形を個別に処理し、画像ベースの事前知識を利用して微妙な幾何学的特徴をキャプチャします。
? 再構成の結果は、忠実度の高い 3 次元モデルを生成できるだけでなく、あらゆる角度からのレンダリングをサポートし、視覚化エクスペリエンスを向上させます。
DressRecon テクノロジーの登場により、3D 人体モデリング技術の開発が大きく前進することは間違いありません。その効率的で便利な機能と、複雑なシーンに対する優れた処理能力は、今後の仮想現実、アニメーション制作、ゲーム開発などの分野に無限の可能性をもたらします。このテクノロジーがより多くのアプリケーション シナリオでその大きな可能性を実現することを楽しみにしています。