A tecnologia Edify3D lançada pela NVIDIA pode gerar modelos 3D de alta qualidade, incluindo mapas UV completos, texturas 4K e materiais PBR em apenas dois minutos. Este é, sem dúvida, um divisor de águas para as áreas de design de jogos, produção de filmes e televisão e realidade estendida. revolução. Baseia-se em descrições de texto ou imagens de referência e, por meio de uma arquitetura técnica exclusiva, combina modelos de difusão multivisualização com tecnologia de reconstrução baseada em Transformer para obter geração de ativos 3D eficiente e de alta qualidade.
A mais recente tecnologia Edify3D da NVIDIA fez um grande avanço no campo da geração de ativos 3D. Esta tecnologia inovadora pode gerar modelos 3D de alta qualidade contendo mapas UV completos, texturas 4K e materiais PBR baseados em descrições de texto ou imagens de referência em apenas dois minutos, revolucionando setores como design de jogos, produção de filmes e televisão e soluções de realidade estendida.
Edify3D adota uma arquitetura técnica única que combina modelos de difusão multivisualização com tecnologia de reconstrução baseada em Transformer. Seu pipeline principal contém três etapas principais:
O modelo de difusão multivisualização gera imagens RGB a partir de múltiplas visualizações com base na entrada;
O ControlNet multivisualização sintetiza normais de superfície correspondentes;
O modelo reconstruído integra essas informações em uma representação neural 3D que gera a geometria final por meio de extração de isosuperfícies e pós-processamento de malha.
Em aplicações práticas, o Edify3D apresenta excelente desempenho. Ele não apenas gera modelos 3D com estruturas de malha precisas, mas também garante alta resolução de texturas e integridade de mapas de materiais. O sistema suporta a geração de diversos ativos 3D, desde mochilas a gramofones e braços robóticos, e os modelos gerados possuem topologia de malha quadrilateral adaptativa para fácil pós-edição e renderização.
Vale ressaltar que Edify3D também pode ser usado para gerar cenas 3D complexas. Ao combinar com um modelo de linguagem grande (LLM), o sistema pode definir o layout da cena, as posições e os tamanhos dos objetos com base em instruções de texto, criando combinações de cenas 3D coerentes e realistas. Este recurso fornece suporte poderoso para aplicativos como design artístico, modelagem 3D e simulação de IA.
Quando se trata de escalabilidade tecnológica, o Edify3D se destaca. À medida que o número de visualizações de treinamento aumenta, a qualidade e a consistência das imagens geradas pelo modelo continuam a melhorar. O desempenho do modelo reconstruído também melhora à medida que o número de visualizações de entrada aumenta, enquanto o tamanho do token de três planos pode ser ajustado de forma flexível com base nos recursos de computação.
O lançamento desta tecnologia marca uma nova era na criação de conteúdo 3D, trazendo melhorias de eficiência e possibilidades de criação sem precedentes para indústrias relacionadas.
Introdução detalhada: https://research.nvidia.com/labs/dir/edify-3d/
O surgimento do Edify3D anuncia uma nova onda de desenvolvimento no campo da modelagem 3D. Seus recursos eficientes e convenientes certamente trarão enormes melhorias de produtividade para todas as esferas da vida. Para mais informações, visite o link oficial para mais detalhes.