A mais recente tecnologia de animação de retratos da Bytedance, X-Portrait2, trouxe uma inovação ao campo de produção de animação com seu custo ultra baixo e alta eficiência. Essa tecnologia não requer captura complexa de movimento, e apenas retratos estáticos e vídeos orientados a desempenho podem ser gerados para gerar vídeos animados realistas, simplificando bastante o processo de produção de animação. Seu núcleo está no modelo de codificador de expressão avançada, que pode capturar e migrar com precisão mudanças sutis de expressão, e até expressões complexas, como beicinho e destacar a língua, pode ser perfeitamente apresentada, garantindo a alta fidelidade e a expressividade da animação.
Recentemente, a Bytedance lançou a mais recente tecnologia de animação de retratos X-Portrait2, com o objetivo de criar animações expressivas e realistas de personagens de uma maneira ultra-baixa e eficiente. Os usuários precisam apenas fornecer imagens de retratos estáticas e vídeos orientados a performance, e o X-Portrait2 pode gerar vídeos animados transferindo expressões no vídeo para retratos, simplificando assim o complexo processo de captura de movimento tradicional e animação de caracteres.
O núcleo dessa tecnologia está em seu modelo avançado de codificador emoji, que foi treinado em conjuntos de dados em larga escala e pode codificar implicitamente pequenas expressões em entradas. Combinado com um poderoso modelo de difusão generativa, o X-Portrait2 pode gerar vídeos suaves e expressivos que transmitem as sutis expressões faciais do ator, até mesmo expressões desafiadoras, como beicinho, destacar a língua, bochechas abauladas e franzir a testa. Ao mesmo tempo, os vídeos gerados também mantêm alta fidelidade no desempenho emocional.
Ao treinar o codificador emoji, a equipe de desenvolvimento garante uma forte separação de aparência e movimento, permitindo que o codificador se concentre nas informações relacionadas à expressão no vídeo. Esse design permite que o modelo alcance a migração de expressão de estilo cruzado e de domínio cruzado e é adequado para uma variedade de cenas, como narrativa real, animação de personagens, agentes virtuais e efeitos visuais.
Comparado com métodos de última geração, como X-Portrait e ACT-ONE, o X-Portrait2 mostra maior precisão em movimentos rápidos da cabeça, pequenas mudanças de expressão e transmissão emocional pessoal para criação de conteúdo de animação de alta qualidade é crucial, como tal como conteúdo de animação na animação e produção de filmes.
Endereço: https://byteaigc.github.io/x-portrait2/
O surgimento da tecnologia X-Portrait2 marca outro salto na tecnologia de animação de retratos. . Para mais informações, visite o endereço do projeto.