NVIDIA发布了令人惊艳的Edify3D技术,该技术可在短短两分钟内生成高质量的3D模型。这一突破性技术利用文本描述或参考图像,生成包含完整UV贴图、4K纹理和PBR材质的3D资产,为游戏开发、影视制作和扩展现实等领域带来革命性的变革。Downcodes小编将带您深入了解这项技术的细节,以及它如何改变3D内容创作的未来。
NVIDIA 最新推出的 Edify3D 技术在3D 资产生成领域取得重大突破。这项创新技术能在短短两分钟内,基于文本描述或参考图像生成包含完整 UV 贴图、4K 纹理和 PBR 材质的高品质3D 模型,为游戏设计、影视制作和扩展现实等行业带来革命性解决方案。
Edify3D 采用了独特的技术架构,将多视角扩散模型与基于 Transformer 的重建技术相结合。其核心管线包含三个关键步骤:
多视角扩散模型根据输入生成多个视角的 RGB 图像;
多视角 ControlNet 合成对应的表面法线;
重建模型将这些信息整合成神经3D 表示,通过等值面提取和网格后处理生成最终的几何体。
在实际应用中,Edify3D 展现出卓越的性能表现。它不仅能生成具有精确网格结构的3D 模型,还能保证纹理的高分辨率和材质贴图的完整性。系统支持生成从背包、留声机到机器人手臂等多样化的3D 资产,且生成的模型都具有自适应的四边形网格拓扑结构,便于后期编辑和渲染。
特别值得一提的是,Edify3D 还可用于生成复杂的3D 场景。通过与大语言模型(LLM)结合,系统能够根据文本提示定义场景布局、物体位置和尺寸,创建连贯且真实的3D 场景组合。这一功能为艺术设计、3D 建模和 AI 模拟等应用提供了强大支持。
在技术扩展性方面,Edify3D 表现出色。随着训练视角数量的增加,模型生成的图像质量和一致性不断提升。重建模型的性能也会随着输入视角数量的增加而改善,同时还能根据计算资源灵活调整三平面令牌大小。
这项技术的发布标志着3D 内容创作进入新纪元,为相关行业带来前所未有的效率提升和创作可能。
详细介绍:https://research.nvidia.com/labs/dir/edify-3d/
总而言之,Edify3D 技术的出现无疑将深刻地影响3D内容创作领域。其高效性、高品质和易用性使其成为未来3D建模和场景设计的强大工具。 期待这项技术在更多领域得到应用,为我们带来更惊艳的视觉体验!