Aujourd’hui, alors que le monde virtuel se développe de plus en plus vigoureusement, la demande d’images virtuelles 3D personnalisées augmente de jour en jour. L'éditeur de Downcodes souhaite présenter aujourd'hui une technologie révolutionnaire passionnante : une équipe de recherche de l'Université de Hong Kong et d'autres institutions a lancé un cadre innovant appelé DreamWaltz-G, qui peut générer des avatars 3D vifs et animables basés sur des descriptions textuelles, apportant changements révolutionnaires dans le domaine de la création de contenu numérique. Cette technologie améliore non seulement la qualité et l'efficacité de la génération d'avatars, mais étend également ses possibilités dans divers scénarios d'application, créant ainsi une expérience de création numérique sans précédent pour les utilisateurs.
À l’ère du numérique, les images virtuelles personnalisées attirent de plus en plus l’attention. Récemment, une équipe de recherche de l'Université de Hong Kong et d'autres institutions ont lancé un cadre innovant appelé DreamWaltz-G, capable de générer des avatars animés en 3D vifs basés sur des descriptions textuelles, élargissant ainsi considérablement les possibilités de création de contenu numérique.
Les technologies de base de DreamWaltz-G incluent la « distillation de partition guidée par un squelette » et la « représentation hybride d'avatar gaussien 3D ». En combinant le contrôle squelettique d’un modèle humain 3D avec un modèle de diffusion 2D, les chercheurs ont pu améliorer la cohérence des avatars générés, notamment en termes de perspective et de pose humaine. Cette méthode réduit efficacement les problèmes courants lors du processus de génération, tels que les avatars flous, les membres supplémentaires ou les distorsions faciales.
La représentation hybride de l'avatar gaussien 3D adoptée par ce framework permet un rendu en temps réel et une optimisation stable de la distillation des scores en combinant des champs neuronaux implicites et des maillages 3D paramétrés. Cette conception améliore non seulement la qualité visuelle de l'avatar, mais renforce également l'expressivité de l'animation.
Grâce à une série d'expériences, DreamWaltz-G démontre des résultats supérieurs dans la génération et l'animation d'avatars 3D, surpassant les méthodes existantes. Qu'il soit utilisé pour la reconstitution vidéo humaine ou la construction de scènes multi-sujets, ce framework présente un large éventail de perspectives d'application.
En termes d'applications pratiques, DreamWaltz-G permet le contrôle et l'édition de formes. Les utilisateurs peuvent modifier le modèle SMPL-X pendant le processus de formation ou effectuer une édition de forme en ajustant la gaussienne 3D pendant la phase d'inférence. Dans le même temps, cette méthode prend également en charge l'utilisation de la technologie d'estimation de pose humaine 3D et de réparation vidéo pour combiner facilement l'avatar 3D généré avec la vidéo 2D afin d'obtenir un effet de reconstitution naturelle.
Qu'il s'agisse de créer une image numérique personnalisée ou de réaliser des animations complexes dans un environnement virtuel, DreamWaltz-G offre aux utilisateurs une commodité sans précédent et ouvre une nouvelle ère de création numérique.
Souligner:
1. ? DreamWaltz-G est un framework innovant qui génère des avatars animables en 3D vifs basés sur des descriptions textuelles.
2. Ce cadre combine la distillation de partitions guidée par les os et la représentation gaussienne 3D hybride pour améliorer la cohérence et l'expressivité de l'animation de la génération d'avatars.
3. ? DreamWaltz-G prend en charge le contrôle de forme, la relecture vidéo et la construction de scènes multi-agents, élargissant ainsi les possibilités de création de contenu numérique.
L'émergence de DreamWaltz-G aura sans aucun doute un impact profond sur le domaine de la création de contenu numérique et injectera plus de vitalité dans le monde virtuel. Ses fonctions puissantes et ses opérations pratiques inciteront sûrement davantage de créateurs à y investir et à créer conjointement un avenir numérique plus passionnant. Nous attendons avec impatience le développement et l'application futurs de DreamWaltz-G, ce qui nous apportera d'autres surprises.