Редактор Downcodes узнал, что исследовательская группа разработала конвейер синтеза головок под названием CHANGER, целью которого является создание высокоточных решений синтеза головок для создания цифрового контента. Эта технология имеет важное прикладное значение в области визуальных спецэффектов (VFX), создания цифровых людей и виртуальных аватаров. В частности, она добилась значительных прорывов в решении проблем неестественных границ синтеза и артефактов слияния, вызванных различиями в форме головы. и прически. Разделяя интеграцию фона и слияние переднего плана, а также комбинируя технологию хромакей, технологию улучшения формы головы и длинных волос, а также модуль преобразователя предиктивного внимания (FPAT), CHANGER обеспечивает плавную интеграцию эталонной головы и целевого тела, отображая это. Это улучшает композиционный эффект.
Основной проблемой при слиянии голов является разница в форме головы и структуре прически, что часто приводит к неестественным границам композиции и артефактам слияния. Существующие методы обычно рассматривают обработку переднего плана и фона как единую задачу, что приводит к неудовлетворительным результатам слияния.
CHANGER обеспечивает плавную интеграцию эталонной головы и целевого тела за счет разделения интеграции фона и переднего плана и хорошо интегрируется с телом. В конвейере используется технология хромакей, позволяющая генерировать фон без артефактов, а также реализована технология улучшения формы головы и длинных волос (H2 Enhancement) для имитации различных форм головы и причесок. Этот метод не только улучшает адаптируемость к разнообразным сценам реальной жизни, но также улучшает прогнозирование и фокусировку ключевых областей головы и тела с помощью модуля Foreground Prediction Attention Transformer (FPAT).
Исследования показывают, что результаты количественной и качественной оценки CHANGER на наборах эталонных данных превосходят существующие современные технологии, обеспечивая высокоточные эффекты синтеза промышленного уровня. Чтобы лучше продемонстрировать эту технологию, исследовательская группа успешно получила видеопример высококачественного слияния голов в реальной среде, объединив технологию хромакей с конвейером CHANGER.
Сила CHANGER заключается в эффективности и практичности процедур обработки. Во-первых, благодаря внедрению технологии хромакей, фон может обрабатываться плавно, устраняя проблемы с артефактами при синтезе фона; во-вторых, применение технологии улучшения H2 позволяет синтезированной голове адаптироваться к более разнообразным прическам и формам; Наконец, конструкция FPAT; Модуль гарантирует, что эффект слияния переднего плана и фона будет более естественным и плавным. Комбинация этих технологий позволяет CHANGER демонстрировать превосходную производительность в различных промышленных приложениях.
Вход в проект: https://hahminlew.github.io/changer/
В целом, CHANGER принес новые прорывы в область создания цифрового контента благодаря эффективному потоку обработки и превосходным эффектам синтеза, а его перспективы в промышленном применении заслуживают ожидания. Редактор Downcodes считает, что благодаря постоянному развитию и совершенствованию технологий CHANGER будет играть все большую роль в будущем.