ByteDance e pesquisadores da Universidade de Ciência e Tecnologia de Xangai desenvolveram em conjunto uma tecnologia inovadora chamada "HeadGAP" que pode gerar rapidamente um modelo de cabeça humana virtual 3D realista e animável usando apenas três fotos de uma pessoa alvo de diferentes ângulos. Essa tecnologia rompe com a dependência da modelagem 3D tradicional de grandes quantidades de dados e operações complexas, traz conveniência sem precedentes para a criação de personagens virtuais e possui recursos de personalização extremamente elevados. Por meio das informações anteriores da cabeça 3D acumuladas no estágio de "aprendizagem prévia", o HeadGAP pode gerar avatares virtuais com eficiência que restauram altamente as características do personagem alvo e suportam a sincronização de expressões faciais com base em vídeos de referência.
Recentemente, pesquisadores da ByteDance e da ShanghaiTech University desenvolveram um estudo chamado "HeadGAP" que atraiu a atenção de todos. A equipe de pesquisa propôs um novo método que pode usar apenas três imagens de diferentes perspectivas da pessoa alvo. Usando fotos, você pode criar rapidamente uma imagem altamente. imagem de cabeça humana virtual em 3D realista e animável e sincronizar expressões faciais com base em vídeos de referência.
A equipe de pesquisa demonstrou como criar avatares personalizados com uma pequena quantidade de dados em cenários reais. Neste estudo, os pesquisadores realizaram primeiro uma etapa chamada “aprendizagem prévia”. Nesta fase, eles extraíram informações prévias sobre a cabeça 3D de um grande conjunto de dados dinâmicos de múltiplas visualizações. Essas informações prévias podem ajudar o sistema a compreender diferentes características e expressões da cabeça. Em seguida, na etapa de “criação do avatar”, os pesquisadores utilizam essas informações prévias para realizar a customização personalizada e gerar um avatar virtual da pessoa alvo.
Todo o processo utiliza uma rede de autodecodificação baseada em nuvens de pontos gaussianas, combinada com modelagem dinâmica parcial. Desta forma, o sistema pode capturar rapidamente a singularidade de cada indivíduo e realizar a otimização personalizada do avatar com base nisso. A equipe também usou alguns meios técnicos, como estratégias de inversão e ajuste fino, para tornar o processo de personalização do avatar mais eficiente e, por fim, alcançou com sucesso efeitos de renderização em nível de foto e consistência de visualização múltipla.
Em experimentos, a equipe de pesquisa demonstrou o desempenho de seu método em diferentes cenários. Os resultados mostraram que os avatares 3D gerados podem manter efeitos de animação estáveis e de alta qualidade, seja em um ambiente controlado ou em um ambiente real. Esta conquista não só tem amplas perspectivas de aplicação em redes sociais virtuais, desenvolvimento de jogos e outros campos, mas também fornece novas ideias e métodos para a produção personalizada de avatares 3D.
Entrada do produto: https://top.aibase.com/tool/headgap
Destaque:
A equipe de pesquisa usou o método “HeadGAP” para criar uma imagem virtual realista da cabeça em 3D com apenas algumas fotos.
Este método usa rede de pontos gaussiana e tecnologia de modelagem dinâmica para obter personalização e otimização personalizadas de avatares.
Os resultados experimentais mostram que o avatar gerado possui excelente qualidade de renderização e desempenho de animação e é adequado para uma variedade de cenários de aplicação.
O surgimento da tecnologia HeadGAP marca um novo marco na tecnologia de geração de retratos virtuais 3D. Sua eficiência, conveniência e alta fidelidade certamente trarão um impacto revolucionário em campos como a realidade virtual e o metaverso. No futuro, podemos esperar que esta tecnologia seja utilizada em mais campos para trazer às pessoas experiências virtuais mais realistas e personalizadas.