Recentemente, uma ferramenta de coloração de desenho de linha de IA chamada MangaNinja causou discussões acaloradas. Ele pode colorir automaticamente desenhos de linha com base em imagens de referência e fornecer controle preciso sobre os detalhes. Esta tecnologia inovadora baseia-se no modelo de difusão e melhora significativamente a precisão da coloração e a experiência interativa através de módulos inovadores de reorganização de patches e esquemas de controle orientados por pontos. Os usuários podem realizar facilmente uma correspondência de cores refinada e obter efeitos de cores de alta qualidade, mesmo em cenas complexas, como situações em que as poses dos personagens variam muito ou faltam detalhes.
Recentemente, um método de coloração de desenho de linha chamado MangaNinja atraiu grande atenção. Basta inserir o desenho da linha e a imagem de referência e você pode colorir o desenho da linha alvo com base na imagem de referência. Esta tecnologia é baseada no modelo de difusão e tem como foco a coloração de desenhos de linhas guiados por imagens de referência, o que melhora muito a precisão e o controle interativo da coloração.
A equipe de pesquisa garantiu a transmissão precisa dos detalhes dos personagens por meio de dois designs inovadores. Primeiro, eles introduziram um módulo de rearranjo de patches para facilitar o aprendizado da correspondência entre imagens coloridas de referência e desenhos de linhas alvo. Em segundo lugar, é adotado um esquema de controle orientado por pontos, permitindo aos usuários combinar cores com precisão.
Em seus experimentos, os pesquisadores construíram um conjunto de dados de referência auto-coletados e compararam-no com métodos de colorização existentes. Os resultados mostraram que MangaNinja superou significativamente outros métodos em precisão de colorização e qualidade de imagem gerada. Uma característica importante deste método é que ele não depende de orientação pontual na geração de resultados e ainda consegue efeitos de coloração de alta qualidade.
MangaNinja mostra seus pontos fortes únicos ao lidar com alguns cenários desafiadores. Por exemplo, quando confrontado com grandes mudanças na postura do personagem ou falta de detalhes, a orientação pontual pode ajudar a resolver esses problemas. A orientação pontual também é eficaz na prevenção de confusão de cores quando vários objetos estão envolvidos. Além disso, os usuários podem colorir múltiplas imagens de referência selecionando áreas específicas de múltiplas imagens de referência, fornecendo assim orientação para elementos individuais do desenho de linha e resolvendo efetivamente conflitos entre elementos visuais semelhantes.
A tecnologia também permite correspondência semântica de cores e controle preciso ao usar diferentes imagens de referência. Os pesquisadores acreditam que este método de coloração interativo pode ajudar os usuários a encontrar inspiração durante o processo de coloração e fornecer possibilidades mais criativas.
Projeto: https://johanan528.github.io/MangaNinjia/
github: https://github.com/ali-vilab/MangaNinjia
Destaque:
MangaNinja é um método de coloração de desenho de linha baseado em imagens de referência, com a capacidade de combinar com precisão e controlar meticulosamente.
Através de seu inovador módulo de reorganização de patches e esquema de controle orientado por pontos, MangaNinja melhora significativamente a precisão das cores e a qualidade da imagem.
Esta tecnologia pode lidar com diversos desafios de coloração, incluindo poses extremas e coordenação de múltiplas imagens de referência, permitindo uma experiência de coloração interativa de alta qualidade.
O surgimento do MangaNinja oferece conveniência e precisão sem precedentes para colorir desenhos de linhas, fornecendo aos artistas e designers ferramentas criativas poderosas. Sua natureza de código aberto também fornece uma boa base para o desenvolvimento de tecnologias futuras. Esperamos que MangaNinja traga mais surpresas no futuro!