En los últimos años, ha habido una demanda creciente de tecnología de procesamiento automatizado de imágenes en el campo del arte digital. El equipo de investigación de la Universidad de Tsinghua y el Laboratorio Tencent ARC propuso un nuevo modelo llamado ColorFlow para resolver el problema de colorear secuencias de imágenes en blanco y negro. Este modelo tiene como objetivo resolver el difícil problema de colorear secuencias de imágenes en blanco y negro manteniendo la identidad de personajes y objetos, lo que tiene importantes implicaciones prácticas para industrias como el cómic y la animación. El modelo ColorFlow no sólo mejora la eficiencia y la calidad de la coloración, sino que también simplifica el complejo proceso de generación de color, aportando nuevas posibilidades a la creación de arte digital.
Con el desarrollo del arte digital, la tecnología de procesamiento automatizado de imágenes ha atraído cada vez más atención. Recientemente, un equipo de investigación de la Universidad de Tsinghua y el Laboratorio Tencent ARC propusieron un nuevo modelo de coloración de secuencia de imágenes llamado ColorFlow. Este modelo tiene como objetivo resolver el problema de mantener la coherencia de la identidad de personajes y objetos mientras se colorean secuencias de imágenes en blanco y negro, satisfaciendo las necesidades prácticas de industrias como el cómic y la animación.
ColorFlow es un marco basado en difusión de tres etapas que aprovecha la información contextual para generar con precisión colores para secuencias de imágenes en blanco y negro a partir de un conjunto de imágenes de referencia. Por ejemplo, el modelo puede colorear eficazmente el color del cabello y la ropa de un personaje, asegurando la coherencia del color con las imágenes de referencia. A diferencia de las tecnologías anteriores que requerían ajustes para cada función, ColorFlow simplifica el proceso de generación de color a través de un innovador canal de color mejorado por búsqueda con sólidas capacidades de generalización.
El modelo fue diseñado con dos ramas principales: una para extraer la identidad del color y otra responsable del proceso de coloración real. Este diseño de doble rama aprovecha al máximo el modelo de difusión y es capaz de lograr un poderoso aprendizaje del contexto y una coincidencia de identidad de color a través del mecanismo de autoatención. Para verificar la eficacia de ColorFlow, el equipo de investigación también lanzó ColorFlow-Bench, una prueba comparativa integral específica para tareas de coloración basadas en imágenes de referencia.
En experimentos comparativos, ColorFlow superó los modelos avanzados existentes en múltiples indicadores, demostró una mayor calidad estética y generó colores más cercanos a la imagen original. El equipo de investigación demostró los efectos de la aplicación de ColorFlow en diferentes escenarios artísticos, incluidos cómics en blanco y negro, arte lineal, fotografías del mundo real y guiones gráficos de dibujos animados, y logró resultados satisfactorios.
El lanzamiento de ColorFlow no sólo establece un nuevo punto de referencia para la tecnología de coloración automática de secuencias de imágenes, sino que también proporciona un fuerte apoyo para el desarrollo futuro de la industria del arte. El equipo de investigación espera que esta tecnología pueda promoverse más ampliamente en aplicaciones prácticas y promover la innovación y el progreso en la creación de arte digital.
Entrada del proyecto: https://zhuang2002.github.io/ColorFlow/
Destacar:
ColorFlow es un innovador modelo de coloración de secuencias de imágenes en blanco y negro que mantiene la coherencia de la identidad de los personajes.
Este modelo adopta un diseño de doble rama, que se utiliza para la extracción de identidad del color y la coloración real respectivamente, mejorando el efecto y la eficiencia de la coloración.
ColorFlow supera los modelos de última generación existentes en múltiples métricas, demostrando una mayor calidad estética y practicidad.
La aparición del modelo ColorFlow marca un progreso significativo en la tecnología de coloración automática de secuencias de imágenes. Sus capacidades de coloración eficientes y precisas y sus sólidas capacidades de generalización brindan un sólido soporte técnico para la animación, los cómics y otras industrias. Se espera que se aplique en más campos en el futuro, promoviendo el vigoroso desarrollo de la creación de arte digital.