NVIDIA發布了令人驚豔的Edify3D技術,該技術可在短短兩分鐘內產生高品質的3D模型。這項突破性技術利用文字描述或參考影像,生成包含完整UV貼圖、4K紋理和PBR材質的3D資產,為遊戲開發、影視製作和擴展現實等領域帶來革命性的變革。 Downcodes小編將帶您深入了解這項技術的細節,以及它如何改變3D內容創作的未來。
NVIDIA 最新推出的Edify3D 技術在3D 資產產生領域取得重大突破。這項創新技術能在短短兩分鐘內,基於文字描述或參考影像生成包含完整UV 貼圖、4K 紋理和PBR 材質的高品質3D 模型,為遊戲設計、影視製作和擴展現實等行業帶來革命性解決方案。
Edify3D 採用了獨特的技術架構,將多視角擴散模型與基於Transformer 的重建技術結合。其核心管線包含三個關鍵步驟:
多視角擴散模型根據輸入產生多個視角的RGB 影像;
多視角ControlNet 合成對應的表面法線;
重建模型將這些資訊整合成神經3D 表示,透過等值面提取和網格後處理產生最終的幾何體。
在實際應用中,Edify3D 展現出卓越的效能表現。它不僅能產生具有精確網格結構的3D 模型,還能確保紋理的高解析度和材質貼圖的完整性。系統支援產生從背包、留聲機到機器手臂等多樣化的3D 資產,且產生的模型都具有自適應的四邊形網格拓撲結構,以便於後期編輯和渲染。
特別值得一提的是,Edify3D 也可用於產生複雜的3D 場景。透過與大語言模型(LLM)結合,系統能夠根據文字提示定義場景佈局、物件位置和尺寸,創建連貫且真實的3D 場景組合。這項功能為藝術設計、3D 建模和AI 模擬等應用提供了強大支援。
在技術擴展性方面,Edify3D 表現出色。隨著訓練視角數量的增加,模型產生的影像品質和一致性不斷提升。重建模型的效能也會隨著輸入視角數量的增加而改善,同時也能根據運算資源靈活調整三平面令牌大小。
這項技術的發布標誌著3D 內容創作進入新紀元,為相關產業帶來前所未有的效率提升和創作可能。
詳細介紹:https://research.nvidia.com/labs/dir/edify-3d/
總而言之,Edify3D 技術的出現無疑將深刻影響3D內容創作領域。其高效性、高品質和易用性使其成為未來3D建模和場景設計的強大工具。 期待這項技術在更多領域得到應用,為我們帶來更驚豔的視覺體驗!