Se acerca la era de los videos de alta definición, pero los detalles de las caras en videos de baja definición a menudo son borrosos, lo que afecta seriamente la experiencia de visualización. Las tecnologías de reparación de la cara existentes son difíciles de equilibrar la reconstrucción de los detalles y la consistencia del tiempo. El equipo de investigación de la Universidad Tecnológica de Nanyang ha desarrollado un marco Keep, proporcionando una nueva solución para la reparación de videos de alta definición.
En esta era de información en constante cambio, el video se ha convertido en una parte indispensable de nuestras vidas. Sin embargo, la calidad de los videos a menudo afecta nuestra experiencia de visualización, especialmente en la presentación de detalles faciales.
Muchos métodos existentes de reparación de la cara de video simplemente aplican redes generales de súper resolución de video a conjuntos de datos faciales o procesan cada imagen de video de forma independiente. Estos métodos a menudo les resulta difícil garantizar la consistencia de los detalles faciales y el tiempo. Para resolver este problema, el equipo de investigación de la Universidad Tecnológica de Nanyang ha lanzado un nuevo marco llamado Keep (propagación de características inspirada en Kalman), que puede restaurar caras en videos de baja definición a alta definición.
Portal de productos: https://top.aibase.com/tool/keep
La idea central de mantener proviene del principio de filtrado de Kalman, que le da al método la capacidad de "recordar" en el proceso de recuperación. En otras palabras, mantenga la guía y ajuste el proceso de reparación del marco actual con la ayuda de la información de los marcos recuperados previamente. Este proceso mejora enormemente la consistencia y la continuidad de los detalles faciales en los marcos de video.
En el marco Keep, todo el proceso se divide en cuatro módulos: codificador, decodificador, red de filtrado de Kalman y atención de marco cruzado (CFA). El codificador y el decodificador construyen un modelo basado en una red adversaria de generación cuántica de componentes variables (VQGAN) dedicada a generar imágenes faciales de alta definición. La red de filtrado de Kalman es la parte central de esta tecnología.
Además, el módulo de atención del marco cruzado mejora aún más la correlación entre los diferentes marcos, lo que ayuda a mantener una mejor puntualidad y una presentación detallada durante la reproducción de video. La singularidad de este diseño es que puede integrar efectivamente la información de cada cuadro, lo que hace que el video final generado no solo sea claro sino también lleno de capas.
Después de muchos experimentos, el equipo de investigación ha confirmado que la tecnología Keep Bastante funciona bastante bien para restaurar los detalles faciales y mantener la consistencia del tiempo. Mantener muestra sus poderosas capacidades, ya sea en entornos de simulación complejos o en escenarios de video reales. Se puede decir que el lanzamiento de esta tecnología traerá una nueva mejora a nuestra experiencia de visualización de videos.
Puntos clave:
Mantener la tecnología puede mantener efectivamente la consistencia de los detalles y el tiempo en los videos faciales.
Este marco combina el principio del filtrado de Kalman para realizar la transmisión y la fusión efectiva de la información entre marco.
Mantenga las excelentes capacidades de captura de detalles faciales demostrados en experimentos, inyectando una nueva vitalidad en el campo de la súper resolución de los videos faciales.
La innovación del marco Keep radica en su aplicación inteligente del principio de filtrado de Kalman y su capacidad para integrar efectivamente la información entre los marcos, estableciendo un nuevo punto de referencia para la tecnología de reparación de videos de alta definición y se espera que mejore en gran medida la experiencia de visualización de videos del usuario. En el futuro, esta tecnología tendrá amplias perspectivas de aplicaciones en la producción de cine y televisión, videoconferencias y otros campos.