Meta Corporation lanzó recientemente una nueva tecnología de modelos 3D de generación de texto llamada Meta3D Gen (3DGen), que puede crear de manera rápida y eficiente modelos 3D de alta calidad con texturas y materiales realistas. Esta innovadora tecnología combina los dos componentes principales de Meta3D AssetGen y Meta3D TextureGen para mejorar significativamente la eficiencia y la calidad de la generación de modelos 3D, brindando una experiencia sin precedentes a los usuarios. 3DGen supera las soluciones existentes en velocidad y calidad, brindando nuevas posibilidades a áreas como el desarrollo de juegos, la realidad virtual y el Metaverso.
Recientemente, los investigadores han lanzado una nueva tecnología de modelos 3D generada rápidamente por texto llamada Meta3D Gen (3D Gen crea modelos 3D de manera eficiente con texturas y materiales de alta calidad, brindando a los usuarios una experiencia completamente nueva).
Este nuevo sistema combina dos componentes clave: Meta 3D AssetGen para crear mallas 3D y Meta 3D TextureGen para generar texturas. Estas tecnologías trabajan juntas para producir activos 3D con texturas de alta resolución y materiales de renderizado físico (PBR). Según Meta, el proceso es de tres a diez veces más rápido que las soluciones existentes.
Generación de activos Meta3D
Entre ellos, Meta3D AssetGen (AssetGen) es un gran avance en el campo de la generación de texto 3D, que puede lograr la generación de activos 3D de alta calidad en menos de 1 minuto. AssetGen genera materiales de renderizado físico (PBR) para lograr potentes capacidades de generación de texto a 3D y de texto a textura con efectos de iluminación reales.
AssetGen primero genera varias vistas del objeto, incluida información de apariencia para los canales de sombra y reflexión, y luego reconstruye el color, la metalicidad y la rugosidad en el espacio 3D, utilizando una pérdida de sombreado diferida para una supervisión eficiente. También utiliza funciones de distancia con signo para representar formas 3D de manera más confiable e introduce las pérdidas correspondientes para la supervisión directa de la forma. Para mejorar la eficiencia de la memoria, este método utiliza núcleos de convolución fusionados. Después de extraer la malla, un transformador que refina la textura en el espacio UV mejora significativamente la claridad y el detalle de la textura.
AssetGen logra una mejora del 17% en la distancia del chaflán y una mejora del 40% en LPIPS en comparación con los mejores métodos de la competencia, al mismo tiempo, en las pruebas de preferencia humana contra los mejores competidores de la industria a la misma velocidad, logró un 72% de favor.
Generación de texturas Meta3D
Los investigadores también presentaron Meta3D TextureGen, un nuevo enfoque avanzado que consta de dos redes secuenciales diseñadas para generar texturas de alta calidad y globalmente consistentes para geometría de complejidad arbitraria en menos de 20 segundos.
Este método logra resultados de última generación en calidad y velocidad al combinar modelos de imágenes generadas por texto con condiciones semánticas 3D en un espacio 2D y fusionarlos en un mapa de textura UV completo y de alta resolución.
Los investigadores también introdujeron una red de mejora de texturas que puede mejorar cualquier textura en cualquier escala para generar texturas con una resolución de píxeles de 4K.
Blog oficial: https://ai.meta.com/research/publications/meta-3d-gen/
Reflejos:
-El sistema Meta 3D Gen crea activos 3D de alta calidad en menos de un minuto
- Meta3D Gen integra las dos tecnologías centrales de Meta3D AssetGen y Meta3DTextureGen.
- AssetGen admite la generación de materiales de renderizado físicos con efectos de iluminación realistas.
- Meta3D TextureGen es un método para generar rápidamente texturas de alta calidad para geometrías de cualquier complejidad.
La aparición de Meta3D Gen marca un progreso significativo en la tecnología de modelos 3D de generación de texto. Su eficiencia, alta calidad y facilidad de uso promoverán en gran medida el desarrollo del campo de la creación de contenido 3D y brindarán posibilidades ilimitadas a todos los ámbitos de la vida. En el futuro, podemos esperar la aplicación y optimización adicional de Meta3D Gen en más campos.