Исследовательская группа из Университета Торонто и Института Вектора недавно выпустила модель CAP4D — революционную технологию создания 4D-аватаров. Он основан на деформируемой многовидовой диффузионной модели (MMDM) и может генерировать реалистичные, управляемые в реальном времени 4D-аватары из любого количества эталонных изображений, что значительно улучшает эффект реконструкции аватара и детальное представление. Эта технология может не только обрабатывать одно или небольшое количество эталонных изображений, но даже генерировать аватары из текстовых подсказок или иллюстраций, демонстрируя свою высокую адаптивность и генеративные возможности. Его двухэтапный метод сначала использует MMDM для создания изображений с разными перспективами и выражениями, а затем объединяет эталонные изображения для реконструкции 4D-аватаров. Он поддерживает сочетание с существующими моделями редактирования изображений и моделями анимации, управляемыми голосом, для достижения более богатых взаимодействий и динамических эффектов. предоставляет виртуальные аватары. Приложения открывают новые возможности.
В модели используется двухэтапный метод: сначала используется MMDM для создания изображений с разными перспективами и выражениями, а затем объединяется эти сгенерированные изображения с эталонными изображениями для реконструкции 4D-аватара, которым можно управлять в реальном времени. Пользователи могут вводить любое количество эталонных изображений, и модель будет использовать эту информацию об изображении для создания высококачественных 4D-аватаров и поддерживает сочетание с анимационными моделями, управляемыми голосом, для достижения динамических эффектов, управляемых звуком. Появление модели CAP4D знаменует собой значительный прогресс в технологии генерации 4D-аватаров, которая имеет широкие перспективы применения в таких областях, как виртуальная реальность, игры и метавселенная.
Исследовательская группа продемонстрировала множество аватаров, созданных с помощью CAP4D, включая одно эталонное изображение, небольшое количество эталонных изображений и более сложный сценарий создания аватаров из текстовых подсказок или иллюстраций. Используя несколько эталонных изображений, модель способна восстанавливать детали и геометрию, которые невозможно увидеть на одном изображении, что повышает производительность реконструкции. Кроме того, CAP4D также имеет возможность сочетаться с существующими моделями редактирования изображений, позволяя пользователям редактировать внешний вид и освещение создаваемого аватара.
Чтобы еще больше улучшить выразительность аватара, CAP4D может объединить сгенерированный 4D-аватар с моделью голосовой анимации для достижения эффектов анимации, управляемой звуком. Это позволяет аватару не только отображать статические визуальные эффекты, но и динамически взаимодействовать с пользователями посредством звука, создавая новую область приложений виртуальных аватаров.
Выделять:
Модель CAP4D может генерировать высококачественные 4D-аватары из любого количества эталонных изображений, используя двухэтапный рабочий процесс.
Эта технология позволяет создавать аватары с разных точек зрения, значительно улучшая эффект реконструкции изображения и представление деталей.
CAP4D сочетается с моделью голосовой анимации для реализации динамических аватаров, управляемых звуком, и расширения сценариев применения виртуальных аватаров.
В целом модель CAP4D совершила значительный прорыв в области создания 4D-аватаров, а ее эффективные, реалистичные и многофункциональные функции открыли новые возможности в таких областях, как виртуальная реальность и цифровые развлечения. Ожидается, что в будущем эта технология получит дальнейшее развитие, чтобы предоставить пользователям более удобный и реалистичный виртуальный интерактивный опыт.