Cet article présente un nouveau pipeline de fusion de tête appelée Changer, qui vise à fournir des solutions de synthèse de tête à haute fidélité pour la création de contenu numérique, en particulier dans les domaines des effets visuels, de la création humaine numérique et des avatars virtuels. Changer résout efficacement la technologie de fusion de la tête existante en découplant l'intégration d'arrière-plan et en combinant la technologie des clés des couleurs avec la forme de la tête et la technologie d'amélioration des cheveux longs (H2 Amélioration), ainsi que le module de convertisseur d'attention de prédiction (FPAT) de premier plan. Les artefacts de fusion dans l'existence de la présente invention atteignent l'intégration transparente de la tête de référence et du corps cible.
Récemment, l'équipe de recherche a proposé un nouveau pipeline de fusion de tête appelée Changer, visant à fournir des solutions de synthèse de tête à haute fidélité pour la création de contenu numérique. Cette technologie est particulièrement importante dans les applications industrielles, en particulier dans des domaines tels que les effets visuels (VFX), la création humaine numérique et les avatars virtuels.
Le principal défi de la fusion de la tête est la différence de forme de tête et de structure de coiffure, qui conduit souvent à des limites synthétiques contre nature et à l'apparition d'artefacts de fusion. Les méthodes existantes traitent souvent le premier plan et le fond comme une seule tâche, ce qui entraîne des effets de fusion insatisfaisants.
Le changeur découple l'intégration d'arrière-plan et l'intégration de premier plan, et atteint l'intégration transparente entre la tête de référence et le corps cible, ce qui est très bon pour le corps. Le tuyau utilise la technologie des clés chromatiques pour permettre la génération de fond sans artefacte et introduit la forme de la forme de la tête et de l'amélioration des cheveux longs (amélioration H2) pour simuler diverses formes et coiffures de tête. Cette approche améliore non seulement l'adaptabilité à divers scénarios réels, mais améliore également la prédiction et la concentration sur les zones clés de la tête et du corps à travers le module de transformateur d'attention de prédiction (FPAT).
La recherche montre que les résultats d'évaluation quantitative et qualitative de Changer sur l'ensemble de données de référence dépassent la technologie de pointe existante et fournissent des résultats synthétiques à haute fidélité de qualité industrielle. Pour mieux démontrer cette technologie, l'équipe de recherche a obtenu avec succès des exemples vidéo de fusion de tête haute fidélité dans un environnement réel grâce à la combinaison de la technologie de liaison chromatique et du pipeline de changeurs.
L'avantage de Changers réside dans son efficacité et son aspect pratique de son processus de traitement. Premièrement, en introduisant la technologie des obligations chromatiques, le fond peut être traité de manière transparente, éliminant le problème d'artefact dans la synthèse de fond; Le module FPAT garantit que l'effet de fusion du premier plan et du fond est plus naturel et lisse. La combinaison de ces technologies permet à Changer de montrer des performances supérieures dans diverses applications industrielles.
Entrée du projet: https://hahminlew.github.io/changer/
Points clés:
Changer est un nouveau type de pipeline de fusion de tête conçu pour résoudre les problèmes de synthèse de la tête dans la création de contenu numérique.
Cette technologie réalise un fond à haute fidélité et un effet de fusion de tête grâce à la technologie de liaison des couleurs et à l'amélioration de H2.
La recherche montre que Changer a mieux performé que les technologies de synthèse grand public existantes et convient à une variété d'applications industrielles.
En bref, Changer fournit un fort support technique pour le domaine de la création de contenu numérique avec son flux de traitement efficace et ses effets de synthèse supérieurs, et il a de larges perspectives d'applications industrielles. Les liens de projet sont pratiques pour les développeurs afin de comprendre et d'appliquer davantage la technologie.