A NVIDIA lançou a impressionante tecnologia Edify3D que gera modelos 3D de alta qualidade em apenas dois minutos. Esta tecnologia inovadora utiliza descrições de texto ou imagens de referência para gerar recursos 3D contendo mapas UV completos, texturas 4K e materiais PBR, trazendo mudanças revolucionárias nas áreas de desenvolvimento de jogos, produção de filmes e televisão e realidade estendida. Os editores de downcodes mostrarão os detalhes dessa tecnologia e como ela mudará o futuro da criação de conteúdo 3D.
A mais recente tecnologia Edify3D da NVIDIA fez um grande avanço no campo da geração de ativos 3D. Esta tecnologia inovadora pode gerar modelos 3D de alta qualidade contendo mapas UV completos, texturas 4K e materiais PBR baseados em descrições de texto ou imagens de referência em apenas dois minutos, revolucionando setores como design de jogos, produção de filmes e televisão e soluções de realidade estendida.
Edify3D adota uma arquitetura técnica única que combina modelos de difusão multivisualização com tecnologia de reconstrução baseada em Transformer. Seu pipeline principal contém três etapas principais:
O modelo de difusão multivisualização gera imagens RGB a partir de múltiplas visualizações com base na entrada;
O ControlNet multivisualização sintetiza normais de superfície correspondentes;
O modelo reconstruído integra essas informações em uma representação neural 3D que gera a geometria final por meio de extração de isosuperfícies e pós-processamento de malha.
Em aplicações práticas, o Edify3D apresenta excelente desempenho. Ele não apenas gera modelos 3D com estruturas de malha precisas, mas também garante alta resolução de texturas e integridade de mapas de materiais. O sistema suporta a geração de diversos ativos 3D, desde mochilas a gramofones e braços robóticos, e os modelos gerados possuem topologia de malha quadrilateral adaptativa para fácil pós-edição e renderização.
Vale ressaltar que Edify3D também pode ser usado para gerar cenas 3D complexas. Ao combinar com um modelo de linguagem grande (LLM), o sistema pode definir o layout da cena, as posições e os tamanhos dos objetos com base em instruções de texto, criando combinações de cenas 3D coerentes e realistas. Este recurso fornece suporte poderoso para aplicativos como design artístico, modelagem 3D e simulação de IA.
Quando se trata de escalabilidade tecnológica, o Edify3D se destaca. À medida que o número de visualizações de treinamento aumenta, a qualidade e a consistência das imagens geradas pelo modelo continuam a melhorar. O desempenho do modelo reconstruído também melhora à medida que o número de visualizações de entrada aumenta, enquanto o tamanho do token de três planos pode ser ajustado de forma flexível com base nos recursos de computação.
O lançamento desta tecnologia marca uma nova era na criação de conteúdo 3D, trazendo melhorias de eficiência e possibilidades de criação sem precedentes para indústrias relacionadas.
Introdução detalhada: https://research.nvidia.com/labs/dir/edify-3d/
Em suma, o surgimento da tecnologia Edify3D afetará, sem dúvida, profundamente o campo da criação de conteúdo 3D. Sua eficiência, alta qualidade e facilidade de uso fazem dele uma ferramenta poderosa para futuras modelagens 3D e design de cenas. Esperamos que esta tecnologia seja usada em mais campos e nos traga mais experiências visuais incríveis!