ByteDance и исследователи из Шанхайского университета науки и технологий совместно разработали инновационную технологию под названием «HeadGAP», которая позволяет быстро создавать реалистичную и анимационную трехмерную виртуальную модель головы человека, используя всего три фотографии целевого человека с разных ракурсов. Эта технология преодолевает зависимость традиционного 3D-моделирования от больших объемов данных и сложных операций, обеспечивает беспрецедентное удобство создания виртуальных персонажей и обладает чрезвычайно широкими возможностями персонализированной настройки. Благодаря предварительной информации о 3D-голове, накопленной на этапе «предварительного обучения», HeadGAP может эффективно создавать виртуальные аватары, которые в высокой степени восстанавливают характеристики целевого персонажа и поддерживают синхронизацию выражения лица на основе эталонных видеороликов.
Недавно исследователи из ByteDance и Шанхайского технологического университета разработали исследование под названием «HeadGAP», которое привлекло всеобщее внимание. Исследовательская группа предложила новый метод, который позволяет использовать только три изображения целевого человека с разных точек зрения. С помощью фотографий можно быстро создать высококлассное изображение. реалистичное, анимируемое трехмерное виртуальное изображение головы человека и синхронизация выражений лица на основе эталонных видеороликов.
Исследовательская группа продемонстрировала, как создавать персонализированные аватары с небольшим объемом данных в реальных сценариях. В этом исследовании исследователи сначала провели этап, называемый «предварительным обучением». На этом этапе они извлекли предварительную информацию о 3D-голове из большого многопроекционного динамического набора данных. Эта предварительная информация может помочь системе понять различные черты и выражения головы. Затем, на этапе «создания аватара», исследователи используют эту предварительную информацию для персонализированной настройки и создания виртуального аватара целевого человека.
Весь процесс использует сеть самодекодирования на основе гауссовских облаков точек в сочетании с частичным динамическим моделированием. Таким образом, система может быстро уловить уникальность каждого человека и на этой основе выполнить персонализированную оптимизацию аватара. Команда также использовала некоторые технические средства, такие как стратегии инверсии и точной настройки, чтобы сделать процесс персонализации аватаров более эффективным, и в конечном итоге успешно добилась эффектов рендеринга на уровне фотографий и согласованности нескольких представлений.
В ходе экспериментов исследовательская группа продемонстрировала эффективность своего метода в различных сценариях. Результаты показали, что сгенерированные 3D-аватары могут поддерживать высокое качество и стабильные анимационные эффекты как в контролируемой, так и в реальной среде. Это достижение не только имеет широкие перспективы применения в виртуальных социальных сетях, разработке игр и других областях, но также открывает новые идеи и методы для персонализированного создания 3D-аватаров.
Вход в продукт: https://top.aibase.com/tool/headgap.
Выделять:
Исследовательская группа использовала метод «HeadGAP» для создания реалистичного трехмерного виртуального изображения головы с помощью всего лишь нескольких фотографий.
Этот метод использует сеть гауссовых точек и технологию динамического моделирования для достижения персонализированной настройки и оптимизации аватаров.
Результаты экспериментов показывают, что сгенерированный аватар имеет превосходное качество рендеринга и производительность анимации и подходит для различных сценариев применения.
Появление технологии HeadGAP знаменует собой новую веху в технологии создания виртуальных 3D-портретов. Ее эффективность, удобство и высокая точность, несомненно, окажут революционное влияние на такие области, как виртуальная реальность и метавселенная. В будущем мы можем ожидать, что эта технология будет использоваться в большем количестве областей, чтобы предоставить людям более реалистичный и персонализированный виртуальный опыт.