Meta Corporation a récemment publié une nouvelle technologie de modèle 3D de génération de texte appelée Meta3D Gen (3DGen), qui permet de créer rapidement et efficacement des modèles 3D de haute qualité avec des textures et des matériaux réalistes. Cette technologie révolutionnaire combine les deux composants principaux de Meta3D AssetGen et Meta3D TextureGen pour améliorer considérablement l'efficacité et la qualité de la génération de modèles 3D, offrant ainsi une expérience sans précédent aux utilisateurs. 3DGen surpasse les solutions existantes en termes de vitesse et de qualité, apportant de nouvelles possibilités dans des domaines tels que le développement de jeux, la réalité virtuelle et le métaverse.
Récemment, des chercheurs ont publié une nouvelle technologie de modèle 3D rapide générée par texte appelée Meta3D Gen (3D Gen) qui crée des modèles 3D de manière efficace avec des textures et des matériaux de haute qualité, offrant aux utilisateurs une toute nouvelle expérience.
Ce nouveau système combine deux composants clés : Meta 3D AssetGen pour créer des maillages 3D et Meta 3D TextureGen pour générer des textures. Ces technologies fonctionnent ensemble pour produire des ressources 3D avec des textures haute résolution et des matériaux de rendu physique (PBR). Selon Meta, le processus est trois à dix fois plus rapide que les solutions existantes.
Meta3D AssetGen
Parmi eux, Meta3D AssetGen (AssetGen) constitue une avancée majeure dans le domaine de la génération de texte 3D, qui permet de générer des actifs 3D de haute qualité en moins d'une minute. AssetGen génère des matériaux de rendu physique (PBR) pour obtenir de puissantes capacités de génération de texte en 3D et de texte en texture avec de véritables effets d'éclairage.
AssetGen génère d'abord plusieurs vues de l'objet, y compris des informations d'apparence pour les canaux d'ombre et de réflexion, puis reconstruit la couleur, la métallicité et la rugosité dans l'espace 3D, en utilisant une perte d'ombrage différée pour une supervision efficace. Il utilise également des fonctions de distance signée pour représenter les formes 3D de manière plus fiable et introduit les pertes correspondantes pour la supervision directe des formes. Pour améliorer l'efficacité de la mémoire, cette méthode utilise des noyaux de convolution fusionnés. Après avoir extrait le maillage, un transformateur qui affine la texture dans l'espace UV améliore considérablement la clarté et les détails de la texture.
AssetGen obtient une amélioration de 17 % de la distance de chanfrein et une amélioration de 40 % du LPIPS par rapport aux meilleures méthodes concurrentes ; dans le même temps, lors des tests de préférence humaine contre les meilleurs concurrents du secteur à la même vitesse, il a obtenu 72 % de favoris.
Génération de textures Meta3D
Les chercheurs ont également présenté Meta3D TextureGen, une nouvelle approche avancée composée de deux réseaux séquentiels conçus pour générer des textures de haute qualité et globalement cohérentes pour une géométrie de complexité arbitraire en moins de 20 secondes.
Cette méthode permet d'obtenir des résultats de pointe en termes de qualité et de rapidité en combinant des modèles d'images générés par du texte avec des conditions sémantiques 3D dans un espace 2D et en les fusionnant dans une carte de texture UV complète et haute résolution.
Les chercheurs ont également introduit un réseau d’amélioration de texture capable de mettre à niveau n’importe quelle texture à n’importe quelle échelle pour générer des textures à une résolution de 4K pixels.
Blog officiel : https://ai.meta.com/research/publications/meta-3d-gen/
Points forts:
-Le système Meta 3D Gen crée des ressources 3D de haute qualité en moins d'une minute
- Meta3D Gen intègre les deux technologies de base de Meta3D AssetGen et Meta3DTextureGen.
- AssetGen prend en charge la génération de matériaux de rendu physiques avec des effets de rééclairage réalistes.
- Meta3D TextureGen est une méthode permettant de générer rapidement des textures de haute qualité pour une géométrie de toute complexité.
L'émergence de Meta3D Gen marque un progrès significatif dans la technologie de génération de texte 3D. Son efficacité, sa haute qualité et sa facilité d'utilisation favoriseront grandement le développement du domaine de la création de contenu 3D et apporteront des possibilités illimitées à tous les horizons. À l’avenir, nous pouvons nous attendre à l’application et à une optimisation plus poussée de Meta3D Gen dans davantage de domaines.