Recentemente, a equipe de pesquisa divulgou publicamente uma estrutura de migração de expressão chamada HelleMeme, que pode migrar as expressões de uma pessoa para as imagens de outra pessoa com fidelidade ultra-alta. Através de sua estrutura de rede exclusiva e do módulo Animatediff inovador, a HelleMeme alcança um equilíbrio perfeito de suavidade e qualidade de alta imagem para a geração de vídeos e suporta o Arkit Face Blendshapes, dando aos usuários controle fino sobre expressões de caracteres. Além disso, seu design de adaptador de troca a quente garante a compatibilidade com o modelo SD1.5, expande as possibilidades da criação e melhora significativamente a eficiência de gerar vídeos. Este artigo introduzirá em detalhes as funções principais, os recursos técnicos e as comparações com outros métodos da estrutura HelleMeme.
Recentemente, a equipe de pesquisa divulgou uma estrutura chamada Hellomeme, que pode migrar as expressões de uma pessoa na imagem para a imagem do personagem em outra imagem.
Conforme mostrado na figura a seguir, forneça uma imagem de expressão (primeira linha) e você pode transferir os detalhes da expressão para os caracteres de outras imagens.
O núcleo do HelleMeme é sua estrutura de rede exclusiva. O quadro é capaz de extrair recursos de cada quadro do vídeo de direção e inserir esses recursos no HMControlModule. Por meio desse processamento, os pesquisadores podem gerar imagens de vídeo suaves. No entanto, no vídeo gerado inicialmente, há um problema de tremulação entre os quadros, afetando a experiência geral de visualização. Para resolver esse problema, a equipe introduziu o Módulo Animatediff, uma inovação que melhorou significativamente a continuidade do vídeo, mas também reduziu a fidelidade da imagem em certa medida.
Em resposta a essa contradição, os pesquisadores otimizaram e ajustaram o módulo Animatediff, alcançando a alta qualidade da imagem e melhorando a continuidade do vídeo.
Além disso, o HelleMeme Framework também fornece suporte poderoso para a edição de expressão facial. Ao vincular o Arkit Face BlendShapes, os usuários podem controlar facilmente as expressões faciais dos caracteres no vídeo gerado. Essa flexibilidade permite que os criadores gerem vídeos com emoções e expressões específicas, conforme necessário, enriquecendo bastante a expressividade do conteúdo do vídeo.
Em termos de compatibilidade técnica, o HelleMeme adota um design de adaptador de troca a quente com base no SD1.5. A maior vantagem desse design é que ele não afeta a capacidade de generalização do modelo T2I (texto a imagem), permitindo que quaisquer modelos estilizados desenvolvidos no SD1.5 se integrem perfeitamente ao HelleMeme. Isso fornece mais possibilidades para várias criações.
A equipe de pesquisa constatou que a introdução do HmReferenceModule melhorou significativamente as condições da fidelidade ao gerar vídeos, o que significa que as etapas de amostragem podem ser reduzidas ao gerar vídeos de alta qualidade. Essa descoberta não apenas melhora a eficiência da geração, mas também abre novas portas para a geração de vídeos em tempo real.
O efeito da comparação com outros métodos é o seguinte.
Entrada do projeto: https://songkey.github.io/hellomeme/
https://github.com/hellaVision/comfyui_hellomeme
Pontos -chave:
O HelleMeme alcança a dupla melhoria da fluência de geração de vídeo e qualidade de imagem por meio de sua estrutura de rede exclusiva e módulo Animatediff.
A estrutura suporta o Arkit Face BlendShapes, permitindo que os usuários controlem flexivelmente as expressões faciais dos caracteres e enriquecem o desempenho do conteúdo de vídeo.
O design do adaptador Hot-Swap garante a compatibilidade com outros modelos com base no SD1.5, proporcionando maior flexibilidade para a criação.
Com sua capacidade de migração de expressão eficiente, efeito de geração de vídeo suave e compatibilidade poderosa, a estrutura HelleMeme fornece novas possibilidades para a criação de vídeo e deve desempenhar um papel importante na produção de filmes e televisão, efeitos especiais de animação e outros campos. Seus recursos de código aberto também facilitam mais desenvolvedores a participar e promover conjuntamente o desenvolvimento e a melhoria adicional da tecnologia.