ByteDance et des chercheurs de l'Université des sciences et technologies de Shanghai ont développé conjointement une technologie innovante appelée "HeadGAP" qui peut générer rapidement un modèle de tête humaine virtuelle 3D réaliste et animable en utilisant seulement trois photos d'une personne cible sous différents angles. Cette technologie rompt avec la dépendance de la modélisation 3D traditionnelle à de grandes quantités de données et à des opérations complexes, apporte une commodité sans précédent à la création de personnages virtuels et offre des capacités de personnalisation extrêmement élevées. Grâce aux informations préalables sur la tête 3D accumulées au cours de l'étape « d'apprentissage préalable », HeadGAP peut générer efficacement des avatars virtuels qui restaurent hautement les caractéristiques du personnage cible et prennent en charge la synchronisation des expressions faciales sur la base de vidéos de référence.
Récemment, des chercheurs de ByteDance et de l'Université ShanghaiTech ont développé une étude appelée « HeadGAP » qui a attiré l'attention de tous. L'équipe de recherche a proposé une nouvelle méthode qui ne peut utiliser que trois images de perspectives différentes de la personne cible. image de tête humaine virtuelle 3D réaliste et animable et synchronisez les expressions faciales basées sur des vidéos de référence.
L'équipe de recherche a démontré comment créer des avatars personnalisés avec une petite quantité de données dans des scénarios réels. Dans cette étude, les chercheurs ont d’abord mené une étape appelée « apprentissage préalable ». À ce stade, ils ont extrait des informations préalables sur la tête 3D à partir d’un vaste ensemble de données dynamiques multi-vues. Ces informations préalables peuvent aider le système à comprendre les différentes caractéristiques et expressions de la tête. Puis, lors de l’étape de « création d’avatar », les chercheurs utilisent ces informations préalables pour réaliser une personnalisation personnalisée et générer un avatar virtuel de la personne cible.
L'ensemble du processus utilise un réseau d'auto-décodage basé sur des nuages de points gaussiens, combiné à une modélisation dynamique partielle. De cette manière, le système peut rapidement capturer le caractère unique de chaque individu et effectuer sur cette base une optimisation personnalisée de l'avatar. L'équipe a également utilisé certains moyens techniques, tels que des stratégies d'inversion et de réglage fin, pour rendre le processus de personnalisation de l'avatar plus efficace, et a finalement réussi à obtenir des effets de rendu au niveau photo et une cohérence multi-vue.
Lors d'expériences, l'équipe de recherche a démontré les performances de leur méthode dans différents scénarios. Les résultats ont montré que les avatars 3D générés peuvent maintenir des effets d'animation stables et de haute qualité, que ce soit dans un environnement contrôlé ou dans un environnement réel. Cette réalisation ouvre non seulement de larges perspectives d'application dans les réseaux sociaux virtuels, le développement de jeux et d'autres domaines, mais fournit également de nouvelles idées et méthodes pour la production personnalisée d'avatars 3D.
Entrée du produit : https://top.aibase.com/tool/headgap
Souligner:
L'équipe de recherche a utilisé la méthode "HeadGAP" pour créer une image virtuelle de tête 3D réaliste avec seulement quelques photos.
Cette méthode utilise un réseau de points gaussien et une technologie de modélisation dynamique pour réaliser une personnalisation et une optimisation personnalisées des avatars.
Les résultats expérimentaux montrent que l'avatar généré présente une excellente qualité de rendu et d'excellentes performances d'animation, et convient à une variété de scénarios d'application.
L'émergence de la technologie HeadGAP marque une nouvelle étape dans la technologie de génération de portraits virtuels 3D. Son efficacité, sa commodité et sa haute fidélité apporteront sûrement un impact révolutionnaire dans des domaines tels que la réalité virtuelle et le métaverse. À l’avenir, nous pouvons nous attendre à ce que cette technologie soit utilisée dans davantage de domaines pour offrir aux utilisateurs des expériences virtuelles plus réalistes et personnalisées.