Ces dernières années, il y a eu une demande croissante de technologies de traitement automatisé d’images dans le domaine de l’art numérique. L'équipe de recherche de l'Université Tsinghua et du laboratoire Tencent ARC a proposé un nouveau modèle appelé ColorFlow pour résoudre le problème de la coloration des séquences d'images en noir et blanc. Ce modèle est conçu pour résoudre le problème difficile de la colorisation de séquences d'images en noir et blanc tout en maintenant la cohérence de l'identité des personnages et des objets, ce qui a des implications pratiques importantes pour des industries telles que la bande dessinée et l'animation. Le modèle ColorFlow améliore non seulement l'efficacité et la qualité de la coloration, mais simplifie également le processus complexe de génération de couleurs, ouvrant ainsi de nouvelles possibilités à la création artistique numérique.
Avec le développement de l’art numérique, la technologie de traitement automatisé des images attire de plus en plus l’attention. Récemment, une équipe de recherche de l'Université Tsinghua et du laboratoire Tencent ARC a proposé un nouveau modèle de coloration de séquences d'images appelé ColorFlow. Ce modèle vise à résoudre le problème du maintien de la cohérence identitaire des personnages et des objets tout en colorisant des séquences d'images en noir et blanc, répondant ainsi aux besoins pratiques d'industries telles que la bande dessinée et l'animation.
ColorFlow est un framework basé sur la diffusion en trois étapes qui exploite les informations contextuelles pour générer avec précision des couleurs pour des séquences d'images en noir et blanc à partir d'un pool d'images de référence. Par exemple, le modèle peut colorer efficacement la couleur des cheveux et les vêtements d’un personnage, garantissant ainsi la cohérence des couleurs avec les images de référence. Contrairement aux technologies précédentes qui nécessitaient un réglage précis pour chaque rôle, ColorFlow simplifie le processus de génération de couleurs grâce à un pipeline de couleurs innovant amélioré par la recherche et doté de fortes capacités de généralisation.
Le modèle a été conçu avec deux branches principales : une pour extraire l’identité des couleurs et une autre responsable du processus de coloration proprement dit. Cette conception à double branche tire pleinement parti du modèle de diffusion et est capable de réaliser un puissant apprentissage du contexte et une correspondance d'identité de couleur grâce au mécanisme d'auto-attention. Afin de vérifier l'efficacité de ColorFlow, l'équipe de recherche a également lancé ColorFlow-Bench, un test de référence complet spécifiquement pour les tâches de coloration basées sur des images de référence.
Lors d'expériences comparatives, ColorFlow a surpassé les modèles avancés existants dans plusieurs indicateurs, a démontré une qualité esthétique supérieure et a généré des couleurs plus proches de l'image originale. L'équipe de recherche a démontré les effets d'application de ColorFlow dans différents scénarios artistiques, notamment les bandes dessinées en noir et blanc, les dessins au trait, les photos du monde réel et les storyboards de dessins animés, et a obtenu des résultats satisfaisants.
Le lancement de ColorFlow établit non seulement une nouvelle référence en matière de technologie de coloration automatique des séquences d'images, mais apporte également un soutien solide au développement futur de l'industrie de l'art. L'équipe de recherche espère que cette technologie pourra être plus largement promue dans des applications pratiques et favoriser l'innovation et le progrès dans la création artistique numérique.
Entrée du projet : https://zhuang2002.github.io/ColorFlow/
Points forts:
ColorFlow est un modèle innovant de coloration de séquences d'images en noir et blanc qui maintient la cohérence de l'identité des personnages.
Ce modèle adopte une conception à double branche, qui est utilisée respectivement pour l'extraction de l'identité des couleurs et la coloration réelle, améliorant ainsi l'effet et l'efficacité de la coloration.
ColorFlow surpasse les modèles de pointe existants dans plusieurs paramètres, démontrant une qualité esthétique et pratique supérieure.
L’émergence du modèle ColorFlow marque un progrès significatif dans la technologie de coloration automatique des séquences d’images. Ses capacités de coloration efficaces et précises et ses fortes capacités de généralisation fournissent un solide support technique pour l'animation, la bande dessinée et d'autres industries. Il devrait être appliqué dans davantage de domaines à l'avenir et favoriser le développement vigoureux de la création artistique numérique.