A era dos vídeos de alta definição está chegando, mas os detalhes dos rostos em vídeos de baixa definição são frequentemente borrados, o que afeta seriamente a experiência de visualização. As tecnologias de reparo de rosto existentes são difíceis de equilibrar a reconstrução dos detalhes e da consistência do tempo. A equipe de pesquisa da Universidade Tecnológica de Nanyang desenvolveu uma estrutura de manutenção, fornecendo uma nova solução para reparo de vídeo de alta definição.
Nesta era de informações em constante mudança, o vídeo se tornou uma parte indispensável de nossas vidas. No entanto, a qualidade dos vídeos geralmente afeta nossa experiência de visualização, especialmente na apresentação de detalhes faciais.
Muitos métodos existentes de reparo de face de vídeo estão simplesmente aplicando redes gerais de super-resolução a conjuntos de dados faciais ou processando cada imagem de vídeo de forma independente. Esses métodos geralmente acham difícil garantir a consistência dos detalhes e do tempo faciais. Para resolver esse problema, a equipe de pesquisa da Nanyang Technological University lançou uma nova estrutura chamada Keep (propagação de recursos inspirada em Kalman), que pode restaurar os rostos em vídeos de baixa definição em alta definição.
Portal do produto: https://top.aibase.com/tool/keep
A idéia principal de Keep vem do princípio de filtragem de Kalman, que oferece ao método a capacidade de "recordar" no processo de recuperação. Em outras palavras, o Keep pode orientar e ajustar o processo de reparo do quadro atual com a ajuda de informações de quadros recuperados anteriormente. Esse processo melhora muito a consistência e a continuidade dos detalhes faciais nos quadros de vídeo.
Na estrutura de manutenção, todo o processo é dividido em quatro módulos: codificador, decodificador, rede de filtragem Kalman e atenção cruzada (CFA). O codificador e o decodificador construem um modelo baseado em uma rede adversária de geração quântica de componentes variáveis (VQGAN) dedicada à geração de imagens faciais de alta definição. A rede de filtragem Kalman é a parte central dessa tecnologia.
Além disso, o módulo de atenção de quadro cruzado aumenta ainda mais a correlação entre diferentes quadros, ajudando a manter uma melhor pontualidade e a detalhar a apresentação durante a reprodução de vídeo. A singularidade desse design é que ele pode efetivamente integrar as informações de cada quadro, deixando o vídeo final gerado não apenas claro, mas também cheio de camadas.
Depois de muitas experiências, a equipe de pesquisa confirmou que a tecnologia de manutenção tem um desempenho muito bom na restauração dos detalhes faciais e na manutenção da consistência do tempo. Manter mostra seus recursos poderosos, seja em ambientes complexos de simulação ou em cenários de vídeo reais. Pode -se dizer que o lançamento dessa tecnologia trará uma nova melhoria para nossa experiência de visualização de vídeo.
Pontos -chave:
Manter a tecnologia pode manter efetivamente a consistência dos detalhes e do tempo em vídeos faciais.
Essa estrutura combina o princípio da filtragem de Kalman para realizar a transmissão e fusão efetiva de informações entre quadros.
Mantenha os excelentes recursos de captura de detalhes faciais demonstrados em experimentos, injetando nova vitalidade no campo da super resolução dos vídeos faciais.
A inovação da estrutura Keep está em sua aplicação inteligente do princípio de filtragem de Kalman e sua capacidade de integrar efetivamente informações entre os quadros, definindo uma nova referência para a tecnologia de reparo de vídeo de alta definição e deve melhorar bastante a experiência de visualização de vídeo do usuário. No futuro, essa tecnologia terá amplas perspectivas de aplicativos na produção de filmes e televisão, videoconferência e outros campos.