O editor do Downcodes soube que a equipe de pesquisa desenvolveu um pipeline de fusão de cabeçotes chamado CHANGER, com o objetivo de fornecer soluções de síntese de cabeçotes de alta fidelidade para criação de conteúdo digital. Esta tecnologia tem um importante valor de aplicação nas áreas de efeitos especiais visuais (VFX), criação humana digital e avatares virtuais. Em particular, ela fez avanços significativos na solução dos problemas de limites de síntese não naturais e artefatos de fusão causados por diferenças no formato da cabeça. e penteados. Ao dissociar a integração do fundo e a fusão do primeiro plano, e combinar a tecnologia chroma key, a tecnologia de aprimoramento do formato da cabeça e do cabelo longo, e o módulo Foreground Predictive Attention Transformer (FPAT), o CHANGER consegue uma integração perfeita da cabeça de referência e do corpo alvo, exibindo Isso melhora o efeito de composição.
O principal desafio na fusão da cabeça é a diferença no formato da cabeça e na estrutura do penteado, que muitas vezes resulta em limites compostos não naturais e artefatos de fusão. Os métodos existentes geralmente tratam o processamento de primeiro e segundo plano como uma tarefa única, resultando em resultados de fusão insatisfatórios.
O CHANGER consegue uma integração perfeita da cabeça de referência e do corpo alvo, desacoplando a integração de fundo e a integração de primeiro plano, e integra-se bem com o corpo. O pipeline usa tecnologia chroma key para permitir a geração de fundo sem artefatos e introduz a tecnologia Head Shape e Long Hair Enhancement (H2 Enhancement) para simular vários formatos de cabeça e estilos de cabelo. Este método não apenas melhora a adaptabilidade a diversas cenas da vida real, mas também aprimora a previsão e o foco de áreas-chave da cabeça e do corpo por meio do módulo Foreground Prediction Attention Transformer (FPAT).
A pesquisa mostra que os resultados da avaliação quantitativa e qualitativa do CHANGER em conjuntos de dados de referência excedem as tecnologias de ponta existentes, proporcionando efeitos de síntese de alta fidelidade e de nível industrial. Para demonstrar melhor esta tecnologia, a equipe de pesquisa obteve com sucesso um exemplo de vídeo de fusão de cabeçotes de alta fidelidade em um ambiente real, combinando a tecnologia chroma key com o pipeline CHANGER.
O ponto forte da CHANGER está na eficiência e praticidade dos seus procedimentos de processamento. Primeiro, ao introduzir a tecnologia chroma key, o fundo pode ser processado perfeitamente, eliminando problemas de artefatos na síntese do fundo; segundo, a aplicação da tecnologia de aprimoramento H2 permite que a cabeça sintetizada se adapte a estilos e formas mais diversos; O módulo garante que o efeito de fusão do primeiro plano e do fundo seja mais natural e suave. A combinação dessas tecnologias permite que o CHANGER demonstre desempenho superior em diversas aplicações industriais.
Entrada do projeto: https://hahminlew.github.io/changer/
Em suma, CHANGER trouxe novos avanços para o campo da criação de conteúdo digital com seu fluxo de processamento eficiente e efeitos de síntese superiores, e vale a pena esperar por suas perspectivas em aplicações industriais. O editor do Downcodes acredita que com o contínuo desenvolvimento e aprimoramento da tecnologia, o CHANGER desempenhará um papel maior no futuro.