La technologie Edify3D lancée par NVIDIA peut générer des modèles 3D de haute qualité comprenant des cartes UV complètes, des textures 4K et des matériaux PBR en seulement deux minutes. Cela change sans aucun doute la donne dans les domaines de la conception de jeux, de la production cinématographique et télévisuelle et de la réalité étendue. révolution. Il est basé sur des descriptions textuelles ou des images de référence et, grâce à une architecture technique unique, il combine des modèles de diffusion multi-vues avec une technologie de reconstruction basée sur Transformer pour obtenir une génération d'actifs 3D efficace et de haute qualité.
La dernière technologie Edify3D de NVIDIA a réalisé une avancée majeure dans le domaine de la génération d'actifs 3D. Cette technologie innovante peut générer des modèles 3D de haute qualité contenant des cartes UV complètes, des textures 4K et des matériaux PBR basés sur des descriptions textuelles ou des images de référence en seulement deux minutes, révolutionnant ainsi des secteurs tels que la conception de jeux, la production cinématographique et télévisuelle et les solutions de réalité étendue.
Edify3D adopte une architecture technique unique qui combine des modèles de diffusion multi-vues avec une technologie de reconstruction basée sur Transformer. Son pipeline principal contient trois étapes clés :
Le modèle de diffusion multi-vues génère des images RVB à partir de plusieurs vues en fonction de l'entrée ;
ControlNet multi-vue synthétise les normales de surface correspondantes ;
Le modèle reconstruit intègre ces informations dans une représentation neuronale 3D qui génère la géométrie finale grâce à l'extraction d'isosurface et au post-traitement du maillage.
Dans les applications pratiques, Edify3D affiche d'excellentes performances. Il génère non seulement des modèles 3D avec des structures de maillage précises, mais garantit également une haute résolution des textures et l'intégrité des cartes de matériaux. Le système prend en charge la génération de divers actifs 3D allant des sacs à dos aux gramophones en passant par les bras de robot, et les modèles générés ont une topologie de maillage quadrilatéral adaptative pour une post-édition et un rendu faciles.
Il convient particulièrement de mentionner qu'Edify3D peut également être utilisé pour générer des scènes 3D complexes. En combinant avec un grand modèle de langage (LLM), le système peut définir la disposition de la scène, les positions et les tailles des objets en fonction d'invites textuelles, créant ainsi des combinaisons de scènes 3D cohérentes et réalistes. Cette fonctionnalité offre une prise en charge puissante pour des applications telles que la conception artistique, la modélisation 3D et la simulation d'IA.
En matière d'évolutivité technologique, Edify3D excelle. À mesure que le nombre de vues d'entraînement augmente, la qualité et la cohérence des images générées par le modèle continuent de s'améliorer. Les performances du modèle reconstruit s'améliorent également à mesure que le nombre de vues d'entrée augmente, tandis que la taille du jeton à trois plans peut être ajustée de manière flexible en fonction des ressources informatiques.
Le lancement de cette technologie marque une nouvelle ère dans la création de contenu 3D, apportant des améliorations d'efficacité et des possibilités de création sans précédent aux industries connexes.
Introduction détaillée : https://research.nvidia.com/labs/dir/edify-3d/
L'émergence d'Edify3D annonce une nouvelle vague de développement dans le domaine de la modélisation 3D. Ses fonctionnalités efficaces et pratiques apporteront sûrement d'énormes améliorations de productivité dans tous les domaines. Pour plus d'informations, veuillez visiter le lien officiel pour plus de détails.