В последние годы растет спрос на технологии автоматизированной обработки изображений в сфере цифрового искусства. Исследовательская группа Университета Цинхуа и лаборатории Tencent ARC предложила новую модель под названием ColorFlow для решения проблемы раскрашивания последовательностей черно-белых изображений. Эта модель предназначена для решения сложной проблемы раскрашивания последовательностей черно-белых изображений при сохранении согласованности идентичности персонажей и объектов, что имеет важные практические последствия для таких отраслей, как комиксы и анимация. Модель ColorFlow не только повышает эффективность и качество окраски, но также упрощает сложный процесс генерации цвета, открывая новые возможности для создания цифрового искусства.
С развитием цифрового искусства технологии автоматизированной обработки изображений привлекают все большее внимание. Недавно исследовательская группа из Университета Цинхуа и лаборатории Tencent ARC предложила новую модель раскрашивания последовательности изображений под названием ColorFlow. Эта модель направлена на решение проблемы сохранения идентичности персонажей и объектов при раскрашивании последовательностей черно-белых изображений, отвечая практическим потребностям таких отраслей, как комиксы и анимация.
ColorFlow — это трехэтапная система на основе диффузии, которая использует контекстную информацию для точной генерации цветов для последовательностей черно-белых изображений из пула эталонных изображений. Например, модель может эффективно окрашивать цвет волос и одежду персонажа, обеспечивая соответствие цвета эталонным изображениям. В отличие от предыдущих технологий, которые требовали тонкой настройки для каждой роли, ColorFlow упрощает процесс генерации цвета за счет инновационного цветового конвейера с улучшенным поиском и мощными возможностями обобщения.
Модель была разработана с двумя основными ветвями: одна для определения цветовой идентичности, а другая отвечает за сам процесс окраски. Эта двухветвевая конструкция в полной мере использует преимущества модели диффузии и способна обеспечить мощное изучение контекста и сопоставление цветовой идентичности с помощью механизма самообслуживания. Чтобы проверить эффективность ColorFlow, исследовательская группа также запустила ColorFlow-Bench, комплексный эталонный тест, специально предназначенный для задач раскрашивания на основе эталонных изображений.
В сравнительных экспериментах ColorFlow превзошел существующие продвинутые модели по множеству показателей, продемонстрировал более высокое эстетическое качество и генерировал цвета, более близкие к исходному изображению. Исследовательская группа продемонстрировала эффекты применения ColorFlow в различных художественных сценариях, включая черно-белые комиксы, штриховую графику, реальные фотографии и мультипликационные раскадровки, и добилась удовлетворительных результатов.
Запуск ColorFlow не только устанавливает новый стандарт для технологии автоматической окраски последовательностей изображений, но и обеспечивает мощную поддержку дальнейшему развитию арт-индустрии. Исследовательская группа надеется, что эта технология сможет найти более широкое практическое применение и будет способствовать инновациям и прогрессу в создании цифрового искусства.
Вход в проект: https://zhuang2002.github.io/ColorFlow/
Основные моменты:
ColorFlow — это инновационная модель окраски последовательности черно-белых изображений, обеспечивающая единообразие идентичности персонажей.
В этой модели используется конструкция с двумя ветвями, которая используется для извлечения цветовой идентичности и фактического окрашивания соответственно, улучшая эффект и эффективность окраски.
ColorFlow превосходит существующие современные модели по многим показателям, демонстрируя более высокое эстетическое качество и практичность.
Появление модели ColorFlow знаменует собой значительный прогресс в технологии автоматической окраски последовательностей изображений. Его эффективные и точные возможности раскрашивания и сильные возможности обобщения обеспечивают надежную техническую поддержку для анимации, комиксов и других отраслей. Ожидается, что в будущем он будет применяться в большем количестве областей и будет способствовать энергичному развитию создания цифрового искусства.