NVIDIA は、わずか 2 分で高品質の 3D モデルを生成する驚くべき Edify3D テクノロジーをリリースしました。この画期的なテクノロジーは、テキストの説明や参照画像を使用して、完全な UV マップ、4K テクスチャ、PBR マテリアルを含む 3D アセットを生成し、ゲーム開発、映画やテレビの制作、拡張現実の分野に革命的な変化をもたらします。 Downcodes エディターは、このテクノロジーの詳細と、それが 3D コンテンツ作成の未来をどのように変えるかについて説明します。
NVIDIA の最新の Edify3D テクノロジーは、3D アセット生成の分野で大きな進歩を遂げました。この革新的なテクノロジーは、テキストの説明や参照画像に基づいて、完全な UV マップ、4K テクスチャ、PBR マテリアルを含む高品質の 3D モデルをわずか 2 分で生成でき、ゲーム デザイン、映画やテレビの制作、拡張現実ソリューションなどの業界に革命をもたらします。
Edify3D は、マルチビュー拡散モデルと Transformer ベースの再構築技術を組み合わせた独自の技術アーキテクチャを採用しています。そのコア パイプラインには、次の 3 つの重要なステップが含まれています。
マルチビュー拡散モデルは、入力に基づいて複数のビューから RGB 画像を生成します。
マルチビュー ControlNet は、対応する表面法線を合成します。
再構築されたモデルは、この情報をニューラル 3D 表現に統合し、等値面抽出とメッシュの後処理を通じて最終的なジオメトリを生成します。
実際のアプリケーションでは、Edify3D は優れたパフォーマンスを示します。正確なメッシュ構造を持つ 3D モデルを生成するだけでなく、テクスチャの高解像度とマテリアル マップの整合性も保証します。このシステムは、バックパックから蓄音機、ロボット アームに至るまで、さまざまな 3D アセットの生成をサポートしており、生成されたモデルには、後編集とレンダリングが容易な適応型四辺形メッシュ トポロジが備わっています。
特に言及する価値があるのは、Edify3D を使用して複雑な 3D シーンを生成できることです。大規模言語モデル (LLM) と組み合わせることで、システムはテキスト プロンプトに基づいてシーン レイアウト、オブジェクトの位置、サイズを定義し、一貫性のある現実的な 3D シーンの組み合わせを作成できます。この機能は、アート デザイン、3D モデリング、AI シミュレーションなどのアプリケーションを強力にサポートします。
テクノロジーの拡張性に関しては、Edify3D が優れています。トレーニング ビューの数が増加するにつれて、モデルによって生成される画像の品質と一貫性は向上し続けます。入力ビューの数が増えると、再構成されたモデルのパフォーマンスも向上します。また、3 プレーンのトークン サイズはコンピューティング リソースに基づいて柔軟に調整できます。
このテクノロジーのリリースは、3D コンテンツ作成の新時代を告げるもので、関連業界に前例のない効率の向上と作成の可能性をもたらします。
詳細な紹介: https://research.nvidia.com/labs/dir/edify-3d/
全体として、Edify3D テクノロジーの出現は、間違いなく 3D コンテンツ作成の分野に大きな影響を与えるでしょう。その効率性、高品質、使いやすさにより、将来の 3D モデリングやシーン デザインのための強力なツールになります。 このテクノロジーがより多くの分野で使用され、より素晴らしい視覚体験をもたらしてくれることを楽しみにしています。