NVIDIA ha lanzado la impresionante tecnología Edify3D que genera modelos 3D de alta calidad en sólo dos minutos. Esta innovadora tecnología utiliza descripciones de texto o imágenes de referencia para generar activos 3D que contienen mapas UV completos, texturas 4K y materiales PBR, lo que aporta cambios revolucionarios a los campos del desarrollo de juegos, la producción de cine y televisión y la realidad extendida. Los editores de Downcodes le explicarán los detalles de esta tecnología y cómo cambiará el futuro de la creación de contenido 3D.
La última tecnología Edify3D de NVIDIA ha logrado un gran avance en el campo de la generación de activos 3D. Esta innovadora tecnología puede generar modelos 3D de alta calidad que contienen mapas UV completos, texturas 4K y materiales PBR basados en descripciones de texto o imágenes de referencia en solo dos minutos, revolucionando industrias como el diseño de juegos, la producción de cine y televisión y la solución de realidad extendida.
Edify3D adopta una arquitectura técnica única que combina modelos de difusión de múltiples vistas con tecnología de reconstrucción basada en Transformer. Su canal principal contiene tres pasos clave:
El modelo de difusión de múltiples vistas genera imágenes RGB a partir de múltiples vistas según la entrada;
ControlNet de vista múltiple sintetiza las normales de superficie correspondientes;
El modelo reconstruido integra esta información en una representación neuronal 3D que genera la geometría final mediante extracción de isosuperficies y posprocesamiento de malla.
En aplicaciones prácticas, Edify3D muestra un rendimiento excelente. No sólo genera modelos 3D con estructuras de malla precisas, sino que también garantiza una alta resolución de texturas y la integridad de los mapas de materiales. El sistema admite la generación de diversos activos 3D que van desde mochilas hasta gramófonos y brazos robóticos, y los modelos generados tienen una topología de malla cuadrilátera adaptable para una fácil edición y renderizado.
Cabe mencionar especialmente que Edify3D también se puede utilizar para generar escenas 3D complejas. Al combinarlo con un modelo de lenguaje grande (LLM), el sistema puede definir el diseño de la escena, las posiciones y los tamaños de los objetos en función de indicaciones de texto, creando combinaciones de escenas 3D coherentes y realistas. Esta función proporciona un potente soporte para aplicaciones como diseño artístico, modelado 3D y simulación de IA.
Cuando se trata de escalabilidad tecnológica, Edify3D sobresale. A medida que aumenta el número de vistas de entrenamiento, la calidad y coherencia de las imágenes generadas por el modelo continúan mejorando. El rendimiento del modelo reconstruido también mejora a medida que aumenta la cantidad de vistas de entrada, mientras que el tamaño del token de tres planos se puede ajustar de manera flexible según los recursos informáticos.
El lanzamiento de esta tecnología marca una nueva era en la creación de contenido 3D, aportando mejoras de eficiencia y posibilidades de creación sin precedentes a las industrias relacionadas.
Introducción detallada: https://research.nvidia.com/labs/dir/edify-3d/
Con todo, la aparición de la tecnología Edify3D sin duda afectará profundamente el campo de la creación de contenidos 3D. Su eficiencia, alta calidad y facilidad de uso lo convierten en una poderosa herramienta para el futuro modelado 3D y diseño de escenas. ¡Esperamos que esta tecnología se utilice en más campos y nos brinde experiencias visuales más sorprendentes!