Nos últimos anos, tem havido uma demanda crescente por tecnologia de processamento automatizado de imagens no campo da arte digital. A equipe de pesquisa da Universidade Tsinghua e do Laboratório Tencent ARC propôs um novo modelo chamado ColorFlow para resolver o problema de colorir sequências de imagens em preto e branco. Este modelo visa resolver o difícil problema de colorir sequências de imagens em preto e branco, mantendo a identidade de personagens e objetos, o que tem implicações práticas importantes para indústrias como quadrinhos e animação. O modelo ColorFlow não apenas melhora a eficiência e a qualidade da coloração, mas também simplifica o complexo processo de geração de cores, trazendo novas possibilidades para a criação de arte digital.
Com o desenvolvimento da arte digital, a tecnologia de processamento automatizado de imagens tem atraído cada vez mais atenção. Recentemente, uma equipe de pesquisa da Universidade Tsinghua e do Laboratório Tencent ARC propôs um novo modelo de coloração de sequência de imagens chamado ColorFlow. Este modelo visa resolver o problema de manter a consistência da identidade de personagens e objetos ao mesmo tempo em que colore sequências de imagens em preto e branco, atendendo às necessidades práticas de indústrias como quadrinhos e animação.
ColorFlow é uma estrutura baseada em difusão de três estágios que aproveita informações contextuais para gerar cores com precisão para sequências de imagens em preto e branco a partir de um conjunto de imagens de referência. Por exemplo, o modelo pode colorir com eficácia a cor do cabelo e das roupas de um personagem, garantindo consistência de cores com imagens de referência. Ao contrário das tecnologias anteriores que exigiam ajuste fino para cada função, o ColorFlow simplifica o processo de geração de cores por meio de um pipeline de cores inovador, aprimorado por pesquisa e com fortes capacidades de generalização.
O modelo foi desenhado com duas ramificações principais: uma para extração da identidade da cor e outra responsável pelo próprio processo de coloração. Este design de ramificação dupla aproveita ao máximo o modelo de difusão e é capaz de obter um poderoso aprendizado de contexto e correspondência de identidade de cores por meio do mecanismo de autoatenção. Para verificar a eficácia do ColorFlow, a equipe de pesquisa também lançou o ColorFlow-Bench, um teste de benchmark abrangente especificamente para tarefas de coloração baseadas em imagens de referência.
Em experimentos comparativos, o ColorFlow superou os modelos avançados existentes em vários indicadores, demonstrou maior qualidade estética e gerou cores mais próximas da imagem original. A equipe de pesquisa demonstrou os efeitos da aplicação do ColorFlow em diferentes cenários artísticos, incluindo quadrinhos em preto e branco, arte linear, fotos do mundo real e storyboards de desenhos animados, e obteve resultados satisfatórios.
O lançamento do ColorFlow não apenas estabelece um novo padrão para a tecnologia de coloração automática de sequências de imagens, mas também fornece um forte apoio para o desenvolvimento da indústria da arte. A equipa de investigação espera que esta tecnologia possa ser promovida mais amplamente em aplicações práticas e promover a inovação e o progresso na criação de arte digital.
Entrada do projeto: https://zhuang2002.github.io/ColorFlow/
Destaque:
ColorFlow é um modelo inovador de coloração de sequência de imagens em preto e branco que mantém a consistência da identidade do personagem.
Este modelo adota um design de ramificação dupla, que é usado para extração de identidade de cor e coloração real, respectivamente, melhorando o efeito e a eficiência da coloração.
O ColorFlow supera os modelos de última geração existentes em múltiplas métricas, demonstrando maior qualidade estética e praticidade.
O surgimento do modelo ColorFlow marca um progresso significativo na tecnologia de coloração automática para sequências de imagens. Suas capacidades de coloração eficientes e precisas e fortes capacidades de generalização fornecem forte suporte técnico para animação, quadrinhos e outras indústrias. Espera-se que seja aplicado em mais campos no futuro, promovendo o desenvolvimento vigoroso da criação de arte digital.