Le dernier modèle d'IA de Stability AI, Stable Zero123, peut générer des vues d'objets 3D de haute qualité basées sur une seule image, et ses performances dépassent considérablement le modèle de génération précédente Zero123-XL. L'amélioration de ce modèle se reflète principalement dans trois aspects : un ensemble de données d'entraînement optimisé, une technologie innovante « conditions élevées » et un processus d'entraînement 40 fois plus efficace. Stable Zero123 a été publié sur la plateforme Hugging Face et propose deux modèles de licence : une version de recherche et une version commerciale, apportant de nouvelles possibilités dans le domaine de la génération d'objets 3D. Cet article expliquera en détail la technologie de base et les perspectives d'application de Stable Zero123.
Stability AI a publié un nouveau modèle d'IA appelé Stable Zero123, qui peut générer des vues d'objets 3D de haute qualité à partir d'une seule image. Le Stable Zero123 surpasse considérablement son prédécesseur Zero123-XL dans les résultats obtenus, grâce à trois innovations clés.
Stable Zero123 utilise un ensemble de données d'entraînement rigoureusement sélectionné dans Objaverse qui conserve spécifiquement des objets 3D de haute qualité. Cette amélioration garantit que les objets 3D générés sont plus réalistes.
Pendant le processus de formation et d'inférence du modèle, Stable Zero123 utilise l'angle de caméra estimé pour le « conditionnement d'élévation ». Cette technologie permet au modèle de faire des prédictions plus précises et améliore considérablement la qualité des images générées. Stable Zero123 introduit également un ensemble de données précalculées et un chargeur de données amélioré, rendant la formation 40 fois plus efficace.
Stable Zero123 est actuellement publié sur Hugging Face pour que les chercheurs et les utilisateurs non commerciaux puissent le télécharger et l'expérimenter. A noter que l'utilisation de ce modèle est soumise à certaines restrictions d'autorisation et est divisée en deux versions : Stable Zero123 et Stable Zero123C. Le premier contient certains objets 3D autorisés par CC-BY-NC et ne peut être utilisé qu'à des fins de recherche ; le second utilise uniquement des objets autorisés par CC-BY et CC0, permettant aux utilisateurs membres de Stability AI de les utiliser à des fins commerciales.
De plus, Stable Zero123 est également intégré au code open source threestudio pour prendre en charge la recherche open source sur la génération d'objets 3D. Actuellement, la version simplifiée associée du processus Stable3D est en préversion privée. Avec cette approche, les utilisateurs peuvent tirer parti du Score Distillation Sampling (SDS) pour optimiser les champs de rayonnement neuronal (NeRF) afin de créer des modèles 3D richement texturés à partir d'images générées par le modèle Stable Zero123.
La sortie de Stable Zero123 apporte non seulement des progrès technologiques significatifs dans le domaine de la génération d'objets 3D, mais offre également de nouvelles possibilités pour la recherche et les applications commerciales.
Blog officiel : https://stability.ai/news/stable-zero123-3d-generation
Points forts:
Stable Zero123 peut générer des vues d'objets 3D de haute qualité basées sur une seule image, améliorant considérablement l'effet de génération.
Le modèle permet une génération d'images plus précises grâce à des ensembles de données améliorés et à des techniques de conditionnement avancées.
Stable Zero123 est divisé en version de recherche et version commerciale, cette dernière nécessite l'adhésion à Stability AI.
L'émergence de Stable Zero123 marque une avancée significative dans la technologie de génération de modèles 3D. Son processus de formation efficace et ses effets de génération de haute qualité offrent la possibilité de réaliser davantage de scénarios d'application à l'avenir. Il vaut la peine d'attendre avec impatience son développement et son application dans divers domaines. .