Nos últimos anos, a tecnologia de IA desenvolveu-se rapidamente, especialmente no campo da produção de animação. A geração de vídeos dinâmicos baseados em imagens estáticas tornou-se um ponto importante de pesquisa. Os métodos tradicionais de produção de animação geralmente dependem de informações esparsas sobre a postura do esqueleto, resultando em efeitos de animação que não são suficientemente precisos. Para resolver este problema, novas tecnologias surgem constantemente, buscando obter animações de imagens de personagens mais precisas e controláveis.
Nos últimos anos, com o rápido desenvolvimento da inteligência artificial e da tecnologia de visão computacional, a interação entre humanos e computadores tornou-se cada vez mais vívida e expressiva. Principalmente na área de produção de animação, como gerar vídeos dinâmicos baseados em imagens estáticas sempre foi um tema quente de pesquisa.
Recentemente, surgiu uma nova tecnologia chamada "DisPose", que consegue efeitos de animação de imagem de personagem mais controláveis por meio de orientação de postura dissociada. Simplificando, DisPose permite a entrada de vídeos de ação e personagens de referência, permitindo que os personagens de referência realizem as ações no vídeo.
O núcleo da tecnologia DisPose reside na reconstrução e utilização de informações tradicionais de pose esparsa. Os métodos tradicionais dependem principalmente de orientação de pose de esqueleto esparsa, que muitas vezes não pode fornecer sinais de controle suficientes ao gerar vídeos dinamicamente, resultando em efeitos de animação insuficientemente detalhados. Para compensar esta deficiência, DisPose propõe um método totalmente novo para obter uma geração de movimento mais detalhada, convertendo informações de pose esparsas em orientação de campo esportivo e correspondências de pontos-chave.
Especificamente, DisPose primeiro calcula campos de movimento esparsos para poses esqueléticas e introduz um método de geração de campo de movimento denso baseado em imagens de referência. Esta abordagem não apenas fornece sinais de movimento em nível regional, mas também mantém a universalidade do controle de atitude esparso. Ao mesmo tempo, o DisPose também extrai recursos de difusão correspondentes aos pontos-chave da pose da imagem de referência e, em seguida, transfere esses recursos para a pose alvo, calculando correspondências de pontos em várias escalas para melhorar a consistência da aparência.
Para permitir que esta tecnologia inovadora seja facilmente integrada nos modelos existentes, os pesquisadores também propuseram uma arquitetura ControlNet híbrida plug-in. Esta arquitetura melhora a qualidade e consistência dos vídeos gerados sem alterar os parâmetros do modelo existente. Através de extensos experimentos qualitativos e quantitativos, o DisPose demonstra vantagens significativas sobre as tecnologias atuais e anuncia a direção futura da tecnologia de produção de animação.
DisPose melhora a expressividade e o controle da animação de retratos, otimizando o uso de informações de postura. Este progresso não é apenas de grande importância na investigação académica, mas também traz novas possibilidades para a futura indústria da animação.
Entrada do projeto: https://lihxxx.github.io/DisPose/
Destaques:
DisPose é uma nova tecnologia de animação de retratos que permite uma geração dinâmica mais precisa por meio de orientação de pose desacoplada.
Esta tecnologia converte informações esparsas de postura em orientação de campo de movimento e correspondência de pontos-chave, fornecendo sinais de movimento detalhados.
A arquitetura híbrida ControlNet proposta pelos pesquisadores pode efetivamente melhorar a qualidade e consistência dos vídeos gerados.
O surgimento da tecnologia DisPose marca um novo marco na tecnologia de produção de animação. Seu método eficiente de processamento de informações de gestos e sua inovadora arquitetura híbrida ControlNet fornecem suporte técnico poderoso para produção de animação de retratos mais realistas e detalhadas no futuro, além de trazer possibilidades ilimitadas para a indústria de animação. Esperamos que o DisPose desempenhe um papel maior na produção de animação no futuro.