O projeto EmoTalk3D fez um progresso revolucionário no campo da inteligência artificial. Seu núcleo reside na síntese bem-sucedida de avatares falantes em 3D de alta fidelidade e emocionalmente ricos. Este projeto resolve os problemas da tecnologia existente em consistência multivisualização e inadequação na expressão emocional. A estrutura pode prever com precisão sequências geométricas 3D, sintetizar a aparência do avatar 3D com base na representação gaussiana 4D e, por fim, obter animação de avatar falante de visualização livre, onde até mesmo expressões e rugas sutis podem ser apresentadas de forma realista.
Entende-se que a equipe de pesquisa do projeto EmoTalk3D propôs um novo método de síntese para abordar as deficiências da atual tecnologia de avatar falante 3D em termos de consistência multivisualização e expressão emocional. Essa abordagem não apenas permite melhor sincronização labial e qualidade de renderização, mas também permite expressão emocional controlável nos avatares falantes gerados.
A equipe de pesquisa projetou uma estrutura de mapeamento “da fala para a geometria e para a aparência”. A estrutura primeiro prevê sequências geométricas 3D fiéis a partir de recursos de áudio e, em seguida, sintetiza a aparência de uma cabeça falante 3D representada por uma Gaussiana 4D com base nessas geometrias. Nesse processo, a aparência é ainda decomposta em componentes gaussianos canônicos e dinâmicos, que são fundidos por meio do aprendizado de vídeos de visualização múltipla para renderizar uma animação de avatar falante de visualização livre.
Vale ressaltar que a equipe de pesquisa do projeto EmoTalk3D também resolveu com sucesso as dificuldades dos métodos anteriores na captura de detalhes faciais dinâmicos, como a apresentação de rugas e expressões sutis. Resultados experimentais mostram que este método tem vantagens significativas na geração de avatares falantes em 3D de alta fidelidade e emocionalmente controláveis, ao mesmo tempo que exibe melhor qualidade de renderização e estabilidade na geração de movimentos labiais.
Atualmente, o código e os conjuntos de dados do projeto EmoTalk3D foram lançados na URL HTTPS designada para referência e uso por pesquisadores e desenvolvedores em todo o mundo. Este avanço tecnológico inovador sem dúvida injetará nova vitalidade no desenvolvimento do campo de avatares falantes em 3D e deverá ser usado em muitos campos, como realidade virtual, realidade aumentada e produção de cinema e televisão no futuro.
O sucesso do projeto EmoTalk3D trouxe novas possibilidades para a produção de personagens digitais 3D. Sua tecnologia de avatar 3D emocional e de alta fidelidade trará mudanças revolucionárias nos campos da realidade virtual, realidade aumentada e produção de filmes e televisão. No futuro, podemos esperar o surgimento de mais produtos e aplicações baseadas na tecnologia EmoTalk3D, proporcionando às pessoas uma experiência mais envolvente.