Проект EmoTalk3D добился прорывного прогресса в области искусственного интеллекта. Его суть заключается в успешном синтезе высококачественных, эмоционально насыщенных говорящих 3D-аватаров. Этот проект решает проблемы существующей технологии, связанные с согласованностью нескольких представлений и неадекватностью эмоционального выражения. Платформа может точно прогнозировать 3D-геометрические последовательности, синтезировать внешний вид 3D-аватара на основе 4D-гауссова представления и, в конечном итоге, создавать анимацию говорящего аватара в свободном просмотре, где даже тонкие выражения и морщины могут быть реалистично представлены.
Понятно, что исследовательская группа проекта EmoTalk3D предложила новый метод синтеза для устранения недостатков современной технологии говорящих 3D-аватаров с точки зрения согласованности нескольких представлений и эмоционального выражения. Этот подход не только обеспечивает улучшенную синхронизацию губ и качество рендеринга, но также обеспечивает контролируемое эмоциональное выражение в созданных говорящих аватарах.
Исследовательская группа разработала систему отображения «речь, геометрия, внешний вид». Платформа сначала предсказывает точные трехмерные геометрические последовательности на основе аудиофункций, а затем синтезирует внешний вид трехмерной говорящей головы, представленной четырехмерной гауссианой, на основе этих геометрий. В этом процессе внешний вид далее разлагается на канонические и динамические гауссовы компоненты, которые объединяются посредством обучения на основе многопросмотровых видеороликов для рендеринга анимации говорящего аватара в свободном просмотре.
Стоит отметить, что исследовательская группа проекта EmoTalk3D также успешно решила трудности предыдущих методов в захвате динамических деталей лица, таких как отображение морщин и тонких выражений лица. Результаты экспериментов показывают, что этот метод имеет значительные преимущества в создании высококачественных и эмоционально управляемых говорящих 3D-аватаров, демонстрируя при этом лучшее качество рендеринга и стабильность при создании движения губ.
В настоящее время код и наборы данных проекта EmoTalk3D опубликованы по назначенному URL-адресу HTTPS для справки и использования исследователями и разработчиками по всему миру. Этот инновационный технологический прорыв, несомненно, придаст новую жизнь развитию области говорящих 3D-аватаров и, как ожидается, в будущем будет использоваться во многих областях, таких как виртуальная реальность, дополненная реальность, а также кино- и телепроизводство.
Успех проекта EmoTalk3D открыл новые возможности для создания цифровых 3D-персонажей. Его высокоточная, эмоциональная технология 3D-аватаров принесет революционные изменения в области виртуальной реальности, дополненной реальности, а также кино- и телепроизводства. В будущем мы можем рассчитывать на появление большего количества продуктов и приложений на основе технологии EmoTalk3D, которые обеспечат людям более захватывающий опыт.