NVIDIA a lancé la superbe technologie Edify3D qui génère des modèles 3D de haute qualité en seulement deux minutes. Cette technologie révolutionnaire utilise des descriptions textuelles ou des images de référence pour générer des ressources 3D contenant des cartes UV complètes, des textures 4K et des matériaux PBR, apportant des changements révolutionnaires dans les domaines du développement de jeux, de la production cinématographique et télévisuelle et de la réalité étendue. Les éditeurs de downcodes vous présenteront les détails de cette technologie et comment elle changera l'avenir de la création de contenu 3D.
La dernière technologie Edify3D de NVIDIA a réalisé une avancée majeure dans le domaine de la génération d'actifs 3D. Cette technologie innovante peut générer des modèles 3D de haute qualité contenant des cartes UV complètes, des textures 4K et des matériaux PBR basés sur des descriptions textuelles ou des images de référence en seulement deux minutes, révolutionnant ainsi des secteurs tels que la conception de jeux, la production cinématographique et télévisuelle et les solutions de réalité étendue.
Edify3D adopte une architecture technique unique qui combine des modèles de diffusion multi-vues avec une technologie de reconstruction basée sur Transformer. Son pipeline principal contient trois étapes clés :
Le modèle de diffusion multi-vues génère des images RVB à partir de plusieurs vues en fonction de l'entrée ;
ControlNet multi-vue synthétise les normales de surface correspondantes ;
Le modèle reconstruit intègre ces informations dans une représentation neuronale 3D qui génère la géométrie finale grâce à l'extraction d'isosurface et au post-traitement du maillage.
Dans les applications pratiques, Edify3D affiche d'excellentes performances. Il génère non seulement des modèles 3D avec des structures de maillage précises, mais garantit également une haute résolution des textures et l'intégrité des cartes de matériaux. Le système prend en charge la génération de divers actifs 3D allant des sacs à dos aux gramophones en passant par les bras de robot, et les modèles générés ont une topologie de maillage quadrilatéral adaptative pour une post-édition et un rendu faciles.
Il convient particulièrement de mentionner qu'Edify3D peut également être utilisé pour générer des scènes 3D complexes. En combinant avec un grand modèle de langage (LLM), le système peut définir la disposition de la scène, les positions et les tailles des objets en fonction d'invites textuelles, créant ainsi des combinaisons de scènes 3D cohérentes et réalistes. Cette fonctionnalité offre une prise en charge puissante pour des applications telles que la conception artistique, la modélisation 3D et la simulation d'IA.
En matière d'évolutivité technologique, Edify3D excelle. À mesure que le nombre de vues d'entraînement augmente, la qualité et la cohérence des images générées par le modèle continuent de s'améliorer. Les performances du modèle reconstruit s'améliorent également à mesure que le nombre de vues d'entrée augmente, tandis que la taille du jeton à trois plans peut être ajustée de manière flexible en fonction des ressources informatiques.
Le lancement de cette technologie marque une nouvelle ère dans la création de contenu 3D, apportant des améliorations d'efficacité et des possibilités de création sans précédent aux industries connexes.
Introduction détaillée : https://research.nvidia.com/labs/dir/edify-3d/
Dans l’ensemble, l’émergence de la technologie Edify3D affectera sans aucun doute profondément le domaine de la création de contenu 3D. Son efficacité, sa haute qualité et sa facilité d'utilisation en font un outil puissant pour la modélisation 3D et la conception de scènes futures. Nous espérons que cette technologie sera utilisée dans davantage de domaines et nous apportera des expériences visuelles encore plus étonnantes !