L'éditeur de Downcodes a appris que l'équipe de recherche avait développé un pipeline de fusion de têtes appelé CHANGER, visant à fournir des solutions de synthèse de tête haute fidélité pour la création de contenu numérique. Cette technologie a une valeur d'application importante dans les domaines des effets visuels spéciaux (VFX), de la création humaine numérique et des avatars virtuels. En particulier, elle a réalisé des avancées significatives dans la résolution des problèmes de limites de synthèse non naturelles et d'artefacts de fusion causés par des différences dans les formes de tête. et les coiffures. En dissociant l'intégration de l'arrière-plan et la fusion du premier plan, et en combinant la technologie d'incrustation chromatique, la technologie d'amélioration de la forme de la tête et des cheveux longs, ainsi que le module FPAT (Foreground Predictive Attention Transformer), CHANGER réalise une intégration transparente de la tête de référence et du corps cible, affichant cela améliore l'image. effet de composition.
Le principal défi de la fusion de tête réside dans la différence de forme de la tête et de structure de coiffure, qui entraîne souvent des limites composites non naturelles et des artefacts de fusion. Les méthodes existantes traitent généralement le traitement du premier plan et de l’arrière-plan comme une seule tâche, ce qui entraîne des résultats de fusion insatisfaisants.
CHANGER réalise une intégration transparente de la tête de référence et du corps cible en dissociant l'intégration d'arrière-plan et l'intégration de premier plan, et s'intègre bien au corps. Le pipeline utilise la technologie d'incrustation chromatique pour permettre la génération d'arrière-plan sans artefacts et introduit la technologie d'amélioration de la forme de la tête et des cheveux longs (amélioration H2) pour simuler diverses formes de tête et coiffures. Cette méthode améliore non seulement l'adaptabilité à diverses scènes de la vie réelle, mais améliore également la prédiction et la mise au point des zones clés de la tête et du corps grâce au module FPAT (Foreground Prediction Attention Transformer).
La recherche montre que les résultats d'évaluation quantitative et qualitative de CHANGER sur des ensembles de données de référence dépassent les technologies de pointe existantes, fournissant des effets de synthèse haute fidélité de qualité industrielle. Afin de mieux démontrer cette technologie, l’équipe de recherche a réussi à obtenir un exemple vidéo de fusion de têtes haute fidélité dans un environnement réel en combinant la technologie d’incrustation chroma avec le pipeline CHANGER.
La force de CHANGER réside dans l'efficacité et la praticité de ses procédés de traitement. Premièrement, en introduisant la technologie d'incrustation chroma, l'arrière-plan peut être traité de manière transparente, éliminant les problèmes d'artefacts dans la synthèse d'arrière-plan. Deuxièmement, l'application de la technologie d'amélioration H2 permet à la tête synthétisée de s'adapter à des coiffures et des formes plus diverses. Enfin, la conception du FPAT ; Le module garantit que l'effet de fusion du premier plan et de l'arrière-plan est plus naturel et plus fluide. La combinaison de ces technologies permet à CHANGER de démontrer des performances supérieures dans diverses applications industrielles.
Entrée du projet : https://hahminlew.github.io/changer/
Dans l’ensemble, CHANGER a apporté de nouvelles avancées dans le domaine de la création de contenu numérique grâce à son flux de traitement efficace et à ses effets de synthèse supérieurs, et ses perspectives dans les applications industrielles méritent d’être attendues. L'éditeur de Downcodes estime qu'avec le développement et l'amélioration continus de la technologie, CHANGER jouera un rôle plus important à l'avenir.