Une équipe de recherche de l'Université Carnegie Mellon a récemment publié une technologie révolutionnaire - DressRecon, qui peut reconstruire un modèle 3D détaillé et cohérent dans le temps du corps humain à partir d'une vidéo monoculaire. Différent des méthodes précédentes de reconstruction du corps humain qui nécessitaient des vêtements serrés ou des données multi-vues, DressRecon peut gérer des scènes portant des vêtements amples ou même tenant des objets, élargissant considérablement la portée des applications et apportant de l'innovation dans des domaines tels que la création d'images virtuelles et la production d'animations. L'éditeur de Downcodes vous donnera une compréhension approfondie de cette technologie impressionnante.
Récemment, une équipe de recherche de l'Université Carnegie Mellon a publié une nouvelle technologie appelée « DressRecon » qui vise à reconstruire un modèle humain cohérent dans le temps à partir d'une vidéo monoculaire. L'avantage de DressRecon est que non seulement vous pouvez saisir une vidéo pour créer un modèle 3D, mais il peut également restaurer des détails fins tels que des vêtements complexes et des objets portatifs.
Cette technologie est particulièrement adaptée aux scénarios dans lesquels vous portez des vêtements amples ou interagissez avec des objets tenus à la main, dépassant ainsi les limites des technologies précédentes. Dans le passé, la reconstruction du corps humain nécessitait généralement le port de vêtements ajustés, ou nécessitait un étalonnage multi-vues pour capturer des données, ou même une numérisation personnalisée, difficile à collecter à grande échelle.
L'innovation de « DressRecon » réside dans le fait qu'il combine des connaissances générales préalables sur la forme du corps humain et la déformation corporelle spécifique à la vidéo, et qu'il peut être optimisé dans une vidéo.
Le cœur de cette technologie est d’apprendre un modèle neuronal implicite capable de gérer séparément la déformation du corps et des vêtements et d’établir séparément les couches de modèles de mouvement.
Afin de capturer les caractéristiques géométriques subtiles des vêtements, l'équipe de recherche a utilisé des connaissances antérieures basées sur des images, notamment la posture humaine, les normales de surface et le flux optique. Ces informations fournissent une assistance supplémentaire pendant le processus d'optimisation, rendant l'effet de reconstruction plus réaliste.
DressRecon est capable d'extraire des modèles 3D haute fidélité à partir d'une seule entrée vidéo et peut même être optimisé davantage en gaussiennes 3D explicites pour améliorer la qualité du rendu et prendre en charge la visualisation interactive.
Les chercheurs ont démontré les effets de reconstruction 3D haute fidélité que DressRecon peut obtenir sur certains ensembles de données difficiles sur la déformation des vêtements et les interactions avec les objets.
De plus, l’image humaine virtuelle reconstruite peut être restituée sous n’importe quel angle, montrant un effet visuel très percutant. L'équipe a également comparé les performances de DressRecon avec plusieurs technologies de base en matière de reconstruction de forme. Les résultats ont montré que DressRecon montrait une plus grande fidélité lors du traitement de structures déformées complexes.
Entrée du projet : https://jefftan969.github.io/dressrecon/
Souligner:
? L'équipe de recherche a lancé la technologie DressRecon pour réaliser une reconstruction du corps humain de haute qualité grâce à la vidéo monoculaire, particulièrement adaptée aux scènes avec des vêtements amples et des objets tenus à la main.
? Utilisant des modèles neuronaux implicites, cette technologie gère séparément les déformations du corps et des vêtements et capture des caractéristiques géométriques subtiles à l'aide d'une connaissance préalable de la base d'images.
? Les résultats de la reconstruction peuvent non seulement générer des modèles tridimensionnels haute fidélité, mais également prendre en charge le rendu sous n'importe quel angle, améliorant ainsi l'expérience de visualisation.
L'émergence de la technologie DressRecon fera sans aucun doute un grand pas en avant dans le développement de la technologie de modélisation du corps humain en 3D. Ses fonctionnalités efficaces et pratiques, ainsi que ses excellentes capacités de traitement pour les scènes complexes, apportent des possibilités illimitées aux domaines de la réalité virtuelle, de la production d'animation, du développement de jeux et d'autres domaines à l'avenir. Nous attendons avec impatience que cette technologie réalise son grand potentiel dans davantage de scénarios d’application !