La tecnología Edify3D lanzada por NVIDIA puede generar modelos 3D de alta calidad que incluyen mapas UV completos, texturas 4K y materiales PBR en solo dos minutos. Esto es sin duda un punto de inflexión para los campos del diseño de juegos, la producción de cine y televisión y la realidad extendida. revolución. Se basa en descripciones de texto o imágenes de referencia y, a través de una arquitectura técnica única, combina modelos de difusión de múltiples vistas con tecnología de reconstrucción basada en Transformer para lograr una generación de activos 3D eficiente y de alta calidad.
La última tecnología Edify3D de NVIDIA ha logrado un gran avance en el campo de la generación de activos 3D. Esta innovadora tecnología puede generar modelos 3D de alta calidad que contienen mapas UV completos, texturas 4K y materiales PBR basados en descripciones de texto o imágenes de referencia en solo dos minutos, revolucionando industrias como el diseño de juegos, la producción de cine y televisión y la solución de realidad extendida.
Edify3D adopta una arquitectura técnica única que combina modelos de difusión de múltiples vistas con tecnología de reconstrucción basada en Transformer. Su canal principal contiene tres pasos clave:
El modelo de difusión de múltiples vistas genera imágenes RGB a partir de múltiples vistas según la entrada;
ControlNet de vista múltiple sintetiza las normales de superficie correspondientes;
El modelo reconstruido integra esta información en una representación neuronal 3D que genera la geometría final mediante extracción de isosuperficies y posprocesamiento de malla.
En aplicaciones prácticas, Edify3D muestra un rendimiento excelente. No sólo genera modelos 3D con estructuras de malla precisas, sino que también garantiza una alta resolución de texturas y la integridad de los mapas de materiales. El sistema admite la generación de diversos activos 3D que van desde mochilas hasta gramófonos y brazos robóticos, y los modelos generados tienen una topología de malla cuadrilátera adaptativa para una fácil edición y renderizado.
Cabe mencionar especialmente que Edify3D también se puede utilizar para generar escenas 3D complejas. Al combinarlo con un modelo de lenguaje grande (LLM), el sistema puede definir el diseño de la escena, las posiciones y los tamaños de los objetos en función de indicaciones de texto, creando combinaciones de escenas 3D coherentes y realistas. Esta función proporciona un potente soporte para aplicaciones como diseño artístico, modelado 3D y simulación de IA.
Cuando se trata de escalabilidad tecnológica, Edify3D sobresale. A medida que aumenta el número de vistas de entrenamiento, la calidad y coherencia de las imágenes generadas por el modelo continúan mejorando. El rendimiento del modelo reconstruido también mejora a medida que aumenta la cantidad de vistas de entrada, mientras que el tamaño del token de tres planos se puede ajustar de manera flexible según los recursos informáticos.
El lanzamiento de esta tecnología marca una nueva era en la creación de contenido 3D, aportando mejoras de eficiencia y posibilidades de creación sin precedentes a las industrias relacionadas.
Introducción detallada: https://research.nvidia.com/labs/dir/edify-3d/
La aparición de Edify3D presagia una nueva ola de desarrollo en el campo del modelado 3D. Sus funciones eficientes y convenientes seguramente traerán enormes mejoras de productividad en todos los ámbitos de la vida. Para obtener más información, visite el enlace oficial para obtener más detalles.