A mais recente tecnologia Animate Anye2 da Alibaba percebeu a substituição precisa dos personagens de vídeo, e seu progresso inovador atraiu atenção generalizada. Essa tecnologia pode substituir a imagem do caractere de destino no vídeo em tempo real com base na retenção da ação original do vídeo e suporta ajuste de iluminação e adaptação do ambiente em segundo plano para obter uma fusão profunda entre caracteres e cenas. O núcleo dessa tecnologia reside em sua tecnologia dinâmica de ligação esquelética e estratégias de mascaramento independentes da forma, que podem capturar com precisão os movimentos humanos e expressões faciais e descrever efetivamente a relação entre o caráter e o meio ambiente, gerando efeitos de animação altamente realistas.
Recentemente, a Alibaba divulgou sua mais recente conquista tecnológica, Animate Anyne2, que é uma tecnologia inovadora que pode permitir a substituição precisa dos personagens de vídeo. De acordo com a exibição do caso divulgada no site oficial do projeto, os usuários precisam apenas fornecer o vídeo original e a imagem do personagem de destino, e o sistema pode concluir a substituição em tempo real da imagem do personagem com base na retenção da trajetória de ação de vídeo original .
Dados experimentais mostram que o sistema pode migrar completamente os movimentos de tiro do jogador de futebol para personagens animados, mantendo as características físicas reais da trajetória de movimento da esfera. Em resposta às complexas necessidades da produção de filmes e televisão, o sistema também suporta ajuste de iluminação personalizado e adaptação ambiental em segundo plano para alcançar uma profunda integração de personagens e cenas.
A tecnologia dinâmica de ligação óssea equipada com este sistema pode capturar com precisão a trajetória de movimento dos membros e microexpressões faciais, rastreando com precisão 28 pontos ósseos-chave no corpo humano. No vídeo de teste público, seja a rotação contínua da dançarina ou a manobra rápida nas artes marciais, os caracteres substituídos podem manter a consistência do movimento.
Em um nível técnico, o sistema adota uma estratégia de máscara independente da forma que pode descrever com mais eficiência a relação entre papéis e ambiente. Ao mesmo tempo, para melhorar a interação entre o caractere e os objetos circundantes, o Anima Anyne2 introduziu um guia leve do objeto. O guia é responsável por extrair os recursos de objetos que interagem com o caractere e injetando esses recursos no processo de denoising através de técnicas de fusão espacial. Esse design torna a interação do personagem com o ambiente e os objetos parecem mais suaves e mais realistas ao se mover.
Os resultados experimentais mostram que o Animate Anyne2 tem um bom desempenho na geração de animações de personagens que são adaptáveis aos ambientes. Comparado com produtos semelhantes no mercado hoje, como Viggle e MIMO, o Animate Anything2 mostra um nível mais alto de consistência do personagem, retenção de detalhes e autenticidade da interação. Isso marca o desenvolvimento da tecnologia de animação de personagens para um novo nível.
Com o lançamento do Animate Anyal2, o potencial de aplicação da animação de personagens em vários campos, como jogos, produção de filmes e televisão e realidade virtual, foi ampliada. Ele não apenas fornece uma ferramenta mais poderosa para os produtores de animação, mas também traz uma experiência visual mais vívida e realista para o público.
Projeto: https://humanaigc.github.io/animate-anyone-2/
Pontos -chave:
Animate qualquer pessoa2 captura as características do meio ambiente para realizar a interação real entre os caracteres e o meio ambiente.
A nova tecnologia apresenta guias de objetos e fusão espacial para melhorar a interação entre caracteres e objetos.
Comparado com tecnologias semelhantes, o Animate Anyne2 mostra vantagens óbvias em detalhes e consistência.
Em suma, com sua tecnologia avançada e excelente desempenho, o Animate Anyal2 estabeleceu uma nova referência para a tecnologia de animação de personagens e mostrou enormes perspectivas de aplicativos nos campos de jogos, cinema e televisão e vale a pena esperar seu futuro desenvolvimento e aplicação.