Récemment, l'équipe de recherche a publié publiquement un cadre de migration d'expression appelé Hellomeme, qui peut migrer les expressions d'une personne vers les images d'une autre personne avec une fidélité ultra-élevée. Grâce à sa structure de réseau unique et à son module AnimateFIF innovant, Hellommeme réalise un équilibre parfait de douceur et de qualité d'image élevée pour la génération de vidéos, et prend en charge les formes de mélanges de visage Arkit, donnant aux utilisateurs un bon contrôle sur les expressions de personnages. De plus, sa conception de l'adaptateur à chaud assure la compatibilité avec le modèle SD1.5, élargit les possibilités de création et améliore considérablement l'efficacité de la génération de vidéos. Cet article introduira en détail les fonctions de base, les caractéristiques techniques et les comparaisons avec d'autres méthodes du cadre Hellomeme.
Récemment, l'équipe de recherche a publié un cadre intitulé Hellomeme, qui peut migrer les expressions d'une personne sur l'image vers l'image du personnage sur une autre image.
Comme indiqué dans la figure suivante, donnez une image d'expression (première ligne), puis vous pouvez transférer les détails d'expression aux caractères d'autres images.
Le noyau de Hellomeme est sa structure de réseau unique. Le cadre est capable d'extraire les fonctionnalités de chaque trame de la vidéo de conduite et de saisir ces fonctionnalités dans le HMControlmodule. Grâce à un tel traitement, les chercheurs peuvent générer des images vidéo lisses. Cependant, dans la vidéo initialement générée, il y a un problème de scintillement entre les cadres, affectant l'expérience de visualisation globale. Pour résoudre ce problème, l'équipe a introduit le module AnimateFIFF, une innovation qui a considérablement amélioré la continuité vidéo mais a également réduit la fidélité de l'image dans une certaine mesure.
En réponse à cette contradiction, les chercheurs ont encore optimisé et ajusté le module AnimateFIFF, obtenant finalement une qualité d'image élevée tout en améliorant la continuité vidéo.
De plus, le cadre Hellomeme fournit également un soutien puissant pour l'édition d'expression faciale. En liant les trémités de mélanges de visage Arkit, les utilisateurs peuvent facilement contrôler les expressions faciales des caractères dans la vidéo générée. Cette flexibilité permet aux créateurs de générer des vidéos avec des émotions et des expressions spécifiques au besoin, enrichissant considérablement l'expressivité du contenu vidéo.
En termes de compatibilité technique, Hellomeme adopte une conception d'adaptateur à banc à chaud basée sur SD1.5. Le plus grand avantage de cette conception est qu'il n'affecte pas la capacité de généralisation du modèle T2I (texte à l'image), permettant à tous les modèles stylisés développés sur SD1.5 de s'intégrer parfaitement à Hellomeme. Cela offre plus de possibilités pour diverses créations.
L'équipe de recherche a constaté que l'introduction de HmreferenceModule améliorait considérablement les conditions de fidélité lors de la génération de vidéos, ce qui signifie que les étapes d'échantillonnage peuvent être réduites tout en générant des vidéos de haute qualité. Cette découverte améliore non seulement l'efficacité de la génération, mais ouvre également de nouvelles portes pour la génération de vidéos en temps réel.
L'effet de la comparaison avec d'autres méthodes est le suivant.
Entrée du projet: https://songkey.github.io/hellomème/
https://github.com/hellovision/comfyui_hellomeme
Points clés:
Hellommeme réalise la double amélioration de la maîtrise de la génération vidéo et de la qualité de l'image grâce à sa structure de réseau unique et à son module AnimateFIFF.
Le framework prend en charge Arkit Face BlendShapes, permettant aux utilisateurs de contrôler flexiblement les expressions faciales des caractères et d'enrichir les performances du contenu vidéo.
La conception de l'adaptateur à chaud assure la compatibilité avec d'autres modèles basés sur SD1.5, offrant une plus grande flexibilité pour la création.
Avec sa capacité de migration d'expression efficace, son effet de génération de vidéos en douceur et sa puissante compatibilité, le cadre Hellomeme offre de nouvelles possibilités de création vidéo et devrait jouer un rôle important dans la production cinématographique et télévisée, les effets spéciaux d'animation et d'autres domaines. Ses fonctionnalités open source facilitent également plus de développeurs pour participer et promouvoir conjointement le développement et l'amélioration ultérieurs de la technologie.