現在、仮想現実と拡張現実技術の急速な発展に伴い、リアルで自然で操作が簡単な3Dデジタルアバターをどのように作成するかが注目の研究テーマとなっています。 DGIST と Meta の Codec Avatars Lab が共同で立ち上げた ExAvatar テクノロジーは、まったく新しいソリューションを提供します。携帯電話を簡単にスキャンするだけで、ユーザーの全身の動き、表情、手の姿勢を模倣できる本物そっくりの 3D アバターを迅速に生成でき、高度なアルゴリズムとテクノロジーを通じて高品質のダイナミック パフォーマンスとレンダリング効果を実現し、強力なプラットフォームを提供します。メタバースフィールドは新たな可能性をもたらしました。
デジタル時代において、仮想現実 (VR) と拡張現実 (AR) テクノロジーは、私たちの生活と働き方を徐々に変えています。あなたの動きや表情をすべて模倣する 3D アバターを作成できると想像してみてください。
DGIST と Meta の Codec Avatars Lab が共同開発した ExAvatar は、この想像力を現実にします。このテクノロジーは、ビデオを通じて全身の動き、顔の表情、さらには手のジェスチャーをキャプチャし、それらを本物のような 3D デジタル画像に変換します。
ExAvatar の 2 つの革新: 1 つ目は、SMPL-X 全身パラメトリック メッシュ モデルを使用して、人体のさまざまな姿勢を正確にキャプチャして再現します。2 つ目は、3D ガウス スパッタリング テクノロジー (3DGS) と組み合わせて、ExAvatar をより現実的かつ効率的にします。レンダリング機能。
コア機能:
フルボディ 3D ドライバー: 体、手、顔の包括的なアニメーションをサポートし、さまざまなポーズや表情を生成します。
ハイブリッド表現: 3D ガウス メッシュとサーフェス メッシュを組み合わせて、幾何学的および外観の一貫性を確保し、アーティファクトを軽減します。
便利なキャプチャ：携帯電話でスキャンするだけで短時間で3Dアバターを作成でき、操作も簡単です。
高品質のレンダリング: 高度なアルゴリズムとテクノロジーを使用して、高品質のダイナミック パフォーマンスとレンダリング効果を実現します。
既存技術を超える：これまでの3Dアバター生成技術を超え、自然な動きや見た目を実現し、より幅広い応用シーンに対応可能です。
ExAvatar は、顔の表情やポーズの多様性の欠如、3D スキャンや深度画像などの観察データの欠如など、以前のテクノロジーの課題の一部を解決します。 ExAvatar は表現をブレンドすることにより、アニメーションの自然さを改善し、新しいポーズで発生する可能性のあるアーティファクトを軽減します。
ExAvatarをトレーニングする前に、研究チームは体、手、顔をSMPL-Xモデルに共同登録し、関節オフセットと顔オフセットを導入し、手の骨の長さと顔領域の形状を最適化し、アバターの表現力と自然さを改善しました。
ExAvatar の技術アーキテクチャは、各ガウスの特徴を抽出し、多層パーセプトロン (MLP) を通じて処理し、標準グリッドと組み合わせて、標準空間でアニメーション化できる 3D アバターを形成します。アニメーション処理には線形ブレンディング補間 (LBS) アルゴリズムが使用され、3DGS テクノロジーを利用してアバターが画面にレンダリングされるため、高品質の視覚効果が保証されます。
ExAvatar の利便性は、ユーザーが簡単な携帯電話のスキャンで 3D アバターを作成でき、斬新な体のポーズ、ジェスチャー、顔の表情によるアニメーションをサポートし、あらゆる視野角からレンダリングできるという事実に反映されています。この手法では、各 3D ガウスをサーフェスの頂点として扱い、これらの頂点間の接続が事前に定義され、SMPL-X のメッシュ トポロジに一致するハイブリッド表現方法が使用されます。
プロジェクトアドレス: https://top.aibase.com/tool/exavatar
論文アドレス: https://arxiv.org/pdf/2407.21686
ExAvatar は、その高精度、効率性、使いやすさにより、仮想現実、拡張現実、ゲーム開発、デジタル コンテンツ作成などの分野で広く使用され、ユーザーにより没入型でインタラクティブなデジタル体験をもたらすことが期待されています。 将来的には、このテクノロジーは遠隔コラボレーションや仮想トレーニングなどでも重要な役割を果たす可能性があります。