В последние годы технологии искусственного интеллекта быстро развиваются, особенно в области производства анимации. Создание динамических видеороликов на основе статических изображений стало горячей точкой исследований. Традиционные методы производства анимации часто полагаются на скудную информацию о позе скелета, что приводит к недостаточно точным анимационным эффектам. Для решения этой проблемы постоянно появляются новые технологии, стремящиеся добиться более точной и управляемой анимации изображений персонажей.
В последние годы, с бурным развитием технологий искусственного интеллекта и компьютерного зрения, взаимодействие человека и компьютера становится все более ярким и выразительным. Особенно в области производства анимации создание динамических видеороликов на основе статических изображений всегда было горячей темой исследований.
Недавно появилась новая технология под названием «DisPose», которая обеспечивает более управляемые эффекты анимации изображения персонажа за счет разделения управления позицией. Проще говоря, DisPose позволяет вводить боевики и справочные персонажи, позволяя ссылочным персонажам реализовывать действия в видео.
Суть технологии DisPose заключается в реконструкции и использовании традиционной разреженной информации о позе. Традиционные методы в основном полагаются на разреженное руководство по позе скелета, которое часто не может обеспечить достаточные управляющие сигналы при динамическом создании видео, что приводит к недостаточно детальным анимационным эффектам. Чтобы восполнить этот недостаток, DisPose предлагает совершенно новый метод для достижения более детальной генерации движений путем преобразования редкой информации о позе в указания по спортивному полю и соответствия ключевым точкам.
В частности, DisPose сначала вычисляет разреженные поля движения для поз скелета и представляет метод генерации плотного поля движения на основе эталонных изображений. Этот подход не только обеспечивает сигналы движения на региональном уровне, но также сохраняет универсальность разреженного управления ориентацией. В то же время DisPose также извлекает элементы диффузии, соответствующие ключевым точкам позы, из эталонного изображения, а затем переносит эти функции в целевую позу путем расчета многомасштабных соответствий точек для повышения согласованности внешнего вида.
Чтобы обеспечить плавную интеграцию этой инновационной технологии в существующие модели, исследователи также предложили подключаемую гибридную архитектуру ControlNet. Эта архитектура повышает качество и согласованность создаваемых видео без изменения существующих параметров модели. Благодаря обширным качественным и количественным экспериментам DisPose демонстрирует значительные преимущества перед нынешними технологиями и предвещает будущее направление технологий производства анимации.
DisPose повышает выразительность и управляемость портретной анимации за счет оптимизации использования информации о позе. Этот прогресс имеет не только большое значение для академических исследований, но и открывает новые возможности для будущей анимационной индустрии.
Вход в проект: https://lihxxx.github.io/DisPose/
Основные моменты:
DisPose — это новая технология портретной анимации, которая обеспечивает более точную динамическую генерацию за счет разделения управления позой.
Эта технология преобразует разреженную информацию о положении в руководство по полю движения и соответствие ключевым точкам, предоставляя подробные сигналы движения.
Гибридная архитектура ControlNet, предложенная исследователями, может эффективно улучшить качество и согласованность создаваемых видео.
Появление технологии DisPose знаменует собой новую веху в технологии производства анимации. Его эффективный метод обработки информации о жестах и инновационная гибридная архитектура ControlNet обеспечивают мощную техническую поддержку для создания более реалистичной и детальной портретной анимации в будущем, а также открывают неограниченные возможности анимационной индустрии. Мы надеемся, что DisPose будет играть более важную роль в производстве анимации в будущем.