ByteDance と上海科技大学の研究者は、異なる角度から撮影した 3 枚の対象人物の写真だけを使用して、リアルでアニメーション可能な 3D 仮想人体頭部モデルを迅速に生成できる「HeadGAP」と呼ばれる革新的な技術を共同開発しました。このテクノロジーは、大量のデータと複雑な操作に依存する従来の 3D モデリングを打破し、仮想キャラクターの作成にこれまでにない利便性をもたらし、非常に高度なパーソナライズされたカスタマイズ機能を備えています。 HeadGAPは、「事前学習」段階で蓄積された3D頭部の事前情報により、対象キャラクターの特徴を高度に復元した仮想アバターを効率的に生成し、参考映像に基づいた表情同期をサポートします。
最近、ByteDanceと上海理工大学の研究者が開発した「HeadGAP」という研究は、対象となる人物の異なる視点の3枚の写真を使用するだけで、高度な写真を迅速に作成できるという新しい方法を提案しました。リアルでアニメーション可能な 3D 仮想人間の頭部画像を作成し、リファレンス ビデオに基づいて顔の表情を同期させます。
研究チームは、実際のシナリオで少量のデータを使用してパーソナライズされたアバターを作成する方法を実証しました。この研究では、研究者らはまず「事前学習」と呼ばれる段階を実施した。この段階で、彼らは大規模なマルチビューの動的データセットから 3D 頭部に関する事前情報を抽出しました。この事前情報は、システムがさまざまな頭部の特徴や表現を理解するのに役立ちます。そして、「アバター作成」段階では、研究者がこの事前情報を利用してパーソナライズしたカスタマイズを行い、対象人物の仮想アバターを生成します。
プロセス全体では、部分的な動的モデリングと組み合わせた、ガウス点群に基づく自己復号化ネットワークが使用されます。このようにして、システムは各個人の独自性を迅速に把握し、これに基づいてアバターのパーソナライズされた最適化を実行できます。チームはまた、反転や微調整戦略などのいくつかの技術的手段を使用して、アバターのパーソナライゼーションプロセスをより効率的にし、最終的には写真レベルのレンダリング効果とマルチビューの一貫性を達成することに成功しました。
研究チームは実験で、さまざまなシナリオでこの方法のパフォーマンスを実証し、その結果、制御された環境でも現実の環境でも、生成された 3D アバターが高品質で安定したアニメーション効果を維持できることがわかりました。この成果は、仮想ソーシャル ネットワーキング、ゲーム開発、その他の分野での幅広い応用の可能性をもたらすだけでなく、3D アバターのパーソナライズされた制作のための新しいアイデアと方法も提供します。
製品入口：https://top.aibase.com/tool/headgap
ハイライト:
研究チームは「HeadGAP」手法を用いて、わずか数枚の写真でリアルな3D頭部仮想画像を作成した。
この方法では、ガウス ポイント ネットワークとダイナミック モデリング テクノロジを使用して、アバターのパーソナライズされたカスタマイズと最適化を実現します。
実験の結果、生成されたアバターは優れたレンダリング品質とアニメーションパフォーマンスを備え、さまざまなアプリケーションシナリオに適していることがわかりました。
HeadGAP テクノロジーの登場は、3D 仮想ポートレート生成テクノロジーの新たなマイルストーンとなり、その効率性、利便性、高い忠実度は、仮想現実やメタバースなどの分野に確実に革命的な影響をもたらすでしょう。将来的には、このテクノロジーがより多くの分野で使用され、より現実的でパーソナライズされた仮想体験を人々にもたらすことが期待されます。