Hoje, com o rápido desenvolvimento da realidade virtual e da tecnologia de realidade aumentada, como criar um avatar digital 3D realista, natural e fácil de operar tornou-se um tema de pesquisa importante. A tecnologia ExAvatar lançada conjuntamente pela DGIST e pelo Codec Avatars Lab da Meta nos fornece uma solução totalmente nova. Ele pode gerar rapidamente um avatar 3D realista que pode imitar todos os movimentos do corpo, expressões faciais e posturas das mãos do usuário por meio de uma simples digitalização de telefone celular e alcançar desempenho dinâmico de alta qualidade e efeitos de renderização por meio de algoritmos e tecnologias avançadas, fornecendo uma plataforma poderosa para os campos do Metaverso trouxeram novas possibilidades.
Na era digital, as tecnologias de realidade virtual (VR) e realidade aumentada (AR) estão mudando gradualmente a forma como vivemos e trabalhamos. Imagine ser capaz de criar um avatar 3D que imite todos os seus movimentos e expressões.
ExAvatar, desenvolvido em conjunto pela DGIST e pelo Codec Avatars Lab da Meta, está transformando essa imaginação em realidade. Esta tecnologia captura todos os movimentos do seu corpo, expressões faciais e até gestos manuais através de um vídeo e os converte em uma imagem digital 3D realista.
Duas inovações do ExAvatar: primeiro, ele usa o modelo de malha paramétrica de corpo inteiro SMPL-X para capturar e reproduzir com precisão várias posturas do corpo humano; segundo, combinado com a tecnologia de pulverização catódica 3D Gaussiana (3DGS), torna o ExAvatar mais realista e eficiente; capacidades de renderização.
Funções principais:
Driver 3D de corpo inteiro: suporta animação abrangente do corpo, mãos e rosto, gerando uma variedade de poses e expressões.
Representação híbrida: combina malhas 3D gaussianas e de superfície para garantir consistência geométrica e de aparência e reduzir artefatos.
Captura conveniente: você pode criar um avatar 3D digitalizando com seu celular em pouco tempo e a operação é simples.
Renderização de alta qualidade: Use algoritmos e tecnologias avançadas para obter desempenho dinâmico e efeitos de renderização de alta qualidade.
Melhor que a tecnologia existente: supera a tecnologia anterior de geração de avatar 3D em termos de movimento e aparência naturais e é adaptável a uma ampla gama de cenários de aplicação.
O ExAvatar resolve alguns dos desafios das tecnologias anteriores, como a falta de diversidade nas expressões faciais e poses e a falta de dados observacionais, como varreduras 3D e imagens profundas. Ao mesclar representações, o ExAvatar melhora a naturalidade das animações e reduz artefatos que podem aparecer em novas poses.
Antes de treinar o ExAvatar, a equipe de pesquisa registrou conjuntamente o corpo, as mãos e o rosto com o modelo SMPL-X, introduziu deslocamentos articulares e faciais, otimizou o comprimento dos ossos da mão e o formato da área facial e melhorou a expressividade e naturalidade do avatar.
A arquitetura técnica do ExAvatar extrai os recursos de cada Gaussiano e os processa por meio de um perceptron multicamadas (MLP), combinado com uma grade padrão para formar um avatar 3D que pode ser animado no espaço padrão. O algoritmo de interpolação de mistura linear (LBS) é usado para processamento de animação, e o avatar é renderizado na tela com a ajuda da tecnologia 3DGS, garantindo efeitos visuais de alta qualidade.
A conveniência do ExAvatar se reflete no fato de que os usuários podem criar avatares 3D com uma simples digitalização do celular, suportar animação com novas poses corporais, gestos e expressões faciais, e renderizar a partir de qualquer ângulo de visão. Esta técnica utiliza um método de representação híbrido que trata cada Gaussiano 3D como um vértice da superfície, com conectividade predefinida entre esses vértices, correspondendo à topologia de malha do SMPL-X.
Endereço do projeto: https://top.aibase.com/tool/exavatar
Endereço do artigo: https://arxiv.org/pdf/2407.21686
Com sua alta precisão, eficiência e facilidade de uso, espera-se que o ExAvatar seja amplamente utilizado em áreas como realidade virtual, realidade aumentada, desenvolvimento de jogos e criação de conteúdo digital, trazendo aos usuários uma experiência digital mais imersiva e interativa. No futuro, esta tecnologia também poderá desempenhar um papel importante na colaboração remota, formação virtual, etc.