L'équipe de recherche de l'Alibaba Damo Academy a publié un article intitulé « SHMT : Self-supervised Hierarchical Makeup Transfer » lors de la conférence NeurIPS 2024. La recherche proposait une nouvelle technologie de transfert d'effet de maquillage. Cette technologie utilise des modèles de diffusion latente pour générer avec précision des images de maquillage et offre de grandes perspectives d'application dans les domaines des applications de maquillage et du traitement d'images. Le modèle SHMT n'a besoin que d'une image de référence de maquillage et d'une photo de la personne cible pour transférer les effets de maquillage sur le visage cible, simplifiant considérablement le processus d'édition et d'application des effets de maquillage. L'équipe a mis en open source le code de formation, le code de test et le modèle pré-entraîné pour faciliter la poursuite de la recherche et du développement par les chercheurs.
Récemment, l'équipe de recherche de l'Alibaba Damo Academy a publié un résultat de recherche important intitulé « SHMT : Self-supervised Hierarchical Makeup Transfer ». L'article a été accepté par la plus grande conférence universitaire internationale NeurIPS2024. Cette recherche démontre une nouvelle technologie de transfert d'effet de maquillage qui utilise des modèles de diffusion latente (modèles de diffusion latente) pour obtenir une génération précise d'images de maquillage, injectant ainsi une nouvelle vitalité dans les domaines de l'application du maquillage et du traitement des images.
En termes simples, SHMT est une technologie de transfert de maquillage. Tant qu'une image de référence de maquillage et une photo du personnage cible sont utilisées, l'effet de maquillage peut être transféré sur le visage cible.
L'équipe a adopté une approche open source dans le projet et a publié un code de formation, un code de test et des modèles de pré-formation, permettant ainsi aux chercheurs de mener plus facilement des recherches et des développements connexes.
Pendant le processus de création du modèle, l'équipe recommande aux utilisateurs de créer un environnement conda nommé « ldm » et de terminer rapidement la configuration via le fichier d'environnement fourni. De plus, VQ-f4 a été sélectionné comme modèle d'encodage automatique pré-entraîné dans l'étude. Les utilisateurs doivent le télécharger et le placer dans le dossier de point de contrôle spécifié afin de démarrer l'inférence en douceur.
La préparation des données est la clé du bon fonctionnement du modèle SHMT. L’équipe de recherche recommande de télécharger l’ensemble de données de transfert de maquillage fourni par « BeautyGAN » et d’intégrer différentes images de maquillage et non maquillées. Dans le même temps, la préparation de l'analyse faciale et des données faciales 3D est également cruciale, et les outils et chemins de données pertinents sont détaillés dans l'étude pour garantir que les utilisateurs peuvent préparer efficacement les données.
En termes de formation et d'inférence de modèles, l'équipe de recherche fournit des scripts de ligne de commande détaillés afin que les utilisateurs puissent ajuster les paramètres en fonction de leurs propres besoins. L’équipe a également particulièrement souligné l’importance de la structure des données, en fournissant des exemples clairs de structure de répertoires pour guider les utilisateurs sur la façon de préparer les données.
Le lancement du modèle SHMT marque l'application réussie de l'apprentissage auto-supervisé dans le domaine du transfert d'effets de maquillage, et pourrait être largement utilisé dans les secteurs de la beauté, des cosmétiques, du traitement d'image et d'autres industries à l'avenir. Cette recherche démontre non seulement le potentiel de la technologie, mais constitue également une base solide pour des recherches approfondies dans des domaines connexes.
Entrée du projet : https://github.com/Snowfallingplum/SHMT
Points forts:
1. Le modèle SHMT utilise le modèle de diffusion latente pour réaliser un transfert d'effet de maquillage et a été accepté par NeurIPS2024.
2. L’équipe fournit du code open source complet et des modèles pré-entraînés pour faciliter l’application et l’amélioration des chercheurs.
3. La préparation des données et l'ajustement des paramètres sont cruciaux, et l'étude fournit des conseils détaillés sur le processus opérationnel et la structure des répertoires.
Dans l’ensemble, la version open source du modèle SHMT fournit des outils et des ressources puissants pour la recherche sur la migration des effets de maquillage, et ses perspectives d’application dans les domaines de la beauté, des cosmétiques et du traitement d’image méritent d’être attendues. Le caractère innovant et pratique de cette recherche en fait une avancée importante dans le domaine et constitue une base solide pour de futures recherches connexes.