Meta Corporation は最近、Meta3D Gen (3DGen) と呼ばれる新しいテキスト生成 3D モデル テクノロジーをリリースしました。これにより、リアルなテクスチャとマテリアルを備えた高品質の 3D モデルを迅速かつ効率的に作成できます。この画期的なテクノロジーは、Meta3D AssetGen と Meta3D TextureGen の 2 つのコア コンポーネントを組み合わせて、3D モデル生成の効率と品質を大幅に向上させ、ユーザーに前例のないエクスペリエンスをもたらします。 3DGen は速度と品質において既存のソリューションを上回り、ゲーム開発、仮想現実、メタバースなどの分野に新たな可能性をもたらします。
最近、研究者らは、Meta3D Gen (3D Gen) と呼ばれる新しい高速テキスト生成 3D モデル テクノロジーをリリースしました。3D Gen は、高品質のテクスチャとマテリアルを使用して効率的な方法で 3D モデルを作成し、ユーザーにまったく新しい体験をもたらします。
この新しいシステムは、3D メッシュを作成するための Meta 3D AssetGen とテクスチャを生成するための Meta 3D TextureGen という 2 つの主要なコンポーネントを組み合わせています。これらのテクノロジーが連携して、高解像度のテクスチャと物理ベース レンダリング (PBR) マテリアルを含む 3D アセットを生成します。 Meta 氏によると、このプロセスは既存のソリューションより 3 ～ 10 倍高速です。
Meta3D AssetGen
その中でも、Meta3D AssetGen (AssetGen) は、テキスト生成 3D の分野における大きな進歩であり、1 分未満で高品質の 3D アセット生成を実現できます。 AssetGen は物理ベース レンダリング (PBR) マテリアルを生成し、実際の照明効果を備えた強力なテキストから 3D およびテキストからテクスチャへの生成機能を実現します。
AssetGen はまず、影や反射チャネルの外観情報を含むオブジェクトのいくつかのビューを生成し、次に効率的な監視のために遅延シェーディング損失を使用して 3D 空間で色、金属性、粗さを再構築します。また、符号付き距離関数を使用して 3D 形状をより確実に表現し、形状の直接監視に対応する損失を導入します。メモリ効率を向上させるために、この方法では融合コンボリューション カーネルが使用されます。メッシュを抽出した後、UV 空間でテクスチャを調整するトランスフォーマーにより、テクスチャの明瞭さと詳細が大幅に向上します。
AssetGen は、競合する最良の方法と比較して、面取り距離で 17% 向上、LPIPS で 40% 向上を達成しました。同時に、同じ速度での業界最高の競合他社に対する人間の好みのテストでは、72% の支持を達成しました。
Meta3D テクスチャ生成
研究者らはまた、任意の複雑さのジオメトリに対して高品質でグローバルに一貫したテクスチャを 20 秒以内に生成するように設計された 2 つの連続ネットワークで構成される新しい前向きアプローチである Meta3D TextureGen も導入しました。
この方法では、テキスト生成イメージ モデルを 2D 空間内の 3D セマンティック条件と組み合わせ、それらを完全な高解像度の UV テクスチャ マップに融合することで、品質と速度において最先端の結果が得られます。
研究者らはまた、任意のスケールで任意のテクスチャをアップスケールして 4K ピクセル解像度のテクスチャを生成できるテクスチャ強化ネットワークも導入しました。
公式ブログ：https://ai.meta.com/research/publications/meta-3d-gen/
ハイライト:
-Meta 3D Gen システムは 1 分以内に高品質の 3D アセットを作成します
- Meta3D Gen は、Meta3D AssetGen と Meta3DTextureGen の 2 つのコア テクノロジーを統合します。
- AssetGen は、リアルな再照明効果を備えた物理ベースのレンダリング マテリアルの生成をサポートします。
- Meta3D TextureGen は、あらゆる複雑なジオメトリに対して高品質のテクスチャを迅速に生成する方法です。
Meta3D Gen の登場は、テキスト生成 3D モデル技術の大きな進歩を示し、その効率性、高品質、使いやすさにより、3D コンテンツ作成分野の発展が大きく促進され、あらゆる分野に無限の可能性がもたらされます。将来的には、より多くの分野での Meta3D Gen の応用とさらなる最適化が期待できます。