Сегодня, с быстрым развитием технологий виртуальной реальности и дополненной реальности, создание реалистичного, естественного и простого в использовании цифрового 3D-аватара стало горячей темой исследований. Технология ExAvatar, совместно запущенная DGIST и лабораторией Codec Avatars Lab компании Meta, предоставляет нам совершенно новое решение. Он может быстро создавать реалистичный 3D-аватар, который может имитировать движения всего тела пользователя, выражение лица и позы рук посредством простого сканирования мобильного телефона, а также обеспечивает высококачественную динамическую производительность и эффекты рендеринга с помощью передовых алгоритмов и технологий, обеспечивая мощную платформу для Поля Метавселенной принесли новые возможности.
В эпоху цифровых технологий технологии виртуальной реальности (VR) и дополненной реальности (AR) постепенно меняют то, как мы живем и работаем. Представьте себе, что вы можете создать 3D-аватар, который имитирует каждое ваше движение и выражение лица. На что это будет похоже?
ExAvatar, совместная разработка DGIST и лаборатории Codec Avatars Lab компании Meta, превращает это воображение в реальность. Эта технология фиксирует движения вашего тела, выражения лица и даже жесты рук на видео и преобразует их в реалистичное цифровое 3D-изображение.
Две инновации ExAvatar: во-первых, он использует параметрическую сетчатую модель всего тела SMPL-X для точного захвата и воспроизведения различных поз человеческого тела; во-вторых, в сочетании с технологией трехмерного гауссовского распыления (3DGS) он делает ExAvatar более реалистичным и эффективным; возможности рендеринга.
Основные функции:
3D-драйвер всего тела: поддерживает комплексную анимацию тела, рук и лица, создавая разнообразные позы и выражения.
Гибридное представление: объединяет трехмерные гауссовы и поверхностные сетки для обеспечения единообразия геометрии и внешнего вида и уменьшения количества артефактов.
Удобный захват: вы можете за короткое время создать 3D-аватар, отсканировав его с помощью мобильного телефона, и операция проста.
Высококачественный рендеринг: используйте передовые алгоритмы и технологии для достижения высококачественной динамической производительности и эффектов рендеринга.
Лучше, чем существующая технология: она превосходит предыдущую технологию создания 3D-аватаров с точки зрения естественных движений и внешнего вида и адаптируется к более широкому спектру сценариев применения.
ExAvatar решает некоторые проблемы предыдущих технологий, такие как отсутствие разнообразия в выражениях лица и позах, а также нехватка данных наблюдений, таких как 3D-сканирование и изображения глубины. Смешивая представления, ExAvatar повышает естественность анимации и уменьшает количество артефактов, которые могут появляться в новых позах.
Перед тренировкой ExAvatar исследовательская группа совместно зарегистрировала тело, руки и лицо с помощью модели SMPL-X, ввела смещения суставов и лица, оптимизировала длину костей руки и форму области лица, а также улучшила выразительность и естественность аватара.
Техническая архитектура ExAvatar извлекает характеристики каждого гауссиана и обрабатывает их с помощью многослойного перцептрона (MLP) в сочетании со стандартной сеткой для формирования трехмерного аватара, который можно анимировать в стандартном пространстве. Для обработки анимации используется алгоритм линейной интерполяции смешивания (LBS), а рендеринг аватара на экране осуществляется с помощью технологии 3DGS, что обеспечивает высокое качество визуальных эффектов.
Удобство ExAvatar проявляется в том, что пользователи могут создавать 3D-аватары с помощью простого сканирования мобильного телефона, поддерживать анимацию с новыми позами тела, жестами и выражениями лица, а также выполнять рендеринг под любым углом обзора. Этот метод использует гибридный метод представления, который рассматривает каждую трехмерную гауссиану как вершину поверхности с предопределенной связностью между этими вершинами, что соответствует топологии сетки SMPL-X.
Адрес проекта: https://top.aibase.com/tool/exavatar
Адрес статьи: https://arxiv.org/pdf/2407.21686.
Ожидается, что благодаря своей высокой точности, эффективности и простоте использования ExAvatar будет широко использоваться в таких областях, как виртуальная реальность, дополненная реальность, разработка игр и создание цифрового контента, предоставляя пользователям более захватывающий и интерактивный цифровой опыт. В будущем эта технология также может сыграть важную роль в удаленном сотрудничестве, виртуальном обучении и т. д.