El editor de Downcodes se enteró de que el equipo de investigación ha desarrollado un proceso de fusión de cabezales llamado CHANGER, con el objetivo de proporcionar soluciones de síntesis de cabezales de alta fidelidad para la creación de contenido digital. Esta tecnología tiene un importante valor de aplicación en los campos de los efectos visuales especiales (VFX), la creación humana digital y los avatares virtuales. En particular, ha logrado avances significativos en la solución de los problemas de los límites de síntesis antinaturales y los artefactos de fusión causados por las diferencias en las formas de las cabezas. y peinados. Al desacoplar la integración de fondo y la fusión de primer plano, y combinar la tecnología de clave cromática, la tecnología de mejora de la forma de la cabeza y el cabello largo, y el módulo Transformador de atención predictiva de primer plano (FPAT), CHANGER logra una integración perfecta de la cabeza de referencia y el cuerpo objetivo, lo que mejora la visualización. efecto compositivo.
El principal desafío en la fusión de cabezas es la diferencia en la forma de la cabeza y la estructura del peinado, lo que a menudo resulta en límites compuestos poco naturales y artefactos de fusión. Los métodos existentes suelen tratar el procesamiento del primer plano y del fondo como una sola tarea, lo que da como resultado resultados de fusión insatisfactorios.
CHANGER logra una integración perfecta de la cabeza de referencia y el cuerpo de destino al desacoplar la integración de fondo y la integración de primer plano, y se integra bien con el cuerpo. El canal utiliza tecnología de clave cromática para permitir la generación de fondos sin artefactos e introduce la tecnología de mejora de la forma de la cabeza y del cabello largo (mejora H2) para simular varias formas de cabeza y peinados. Este método no solo mejora la adaptabilidad a diversas escenas de la vida real, sino que también mejora la predicción y el enfoque de áreas clave de la cabeza y el cuerpo a través del módulo Foreground Prediction Attention Transformer (FPAT).
Las investigaciones muestran que los resultados de la evaluación cuantitativa y cualitativa de CHANGER en conjuntos de datos de referencia superan las tecnologías de vanguardia existentes, proporcionando efectos de síntesis de alta fidelidad y de grado industrial. Para demostrar mejor esta tecnología, el equipo de investigación obtuvo con éxito un ejemplo en vídeo de fusión de cabezales de alta fidelidad en un entorno real combinando la tecnología de clave cromática con el canal CHANGER.
La fuerza de CHANGER reside en la eficiencia y la practicidad de sus procedimientos de procesamiento. En primer lugar, al introducir la tecnología de clave cromática, el fondo se puede procesar sin problemas, eliminando problemas de artefactos en la síntesis del fondo. En segundo lugar, la aplicación de la tecnología de mejora H2 permite que la cabeza sintetizada se adapte a peinados y formas más diversas; El módulo garantiza que el efecto de fusión del primer plano y el fondo sea más natural y suave. La combinación de estas tecnologías permite a CHANGER demostrar un rendimiento superior en diversas aplicaciones industriales.
Entrada del proyecto: https://hahminlew.github.io/changer/
Con todo, CHANGER ha aportado nuevos avances al campo de la creación de contenido digital con su flujo de procesamiento eficiente y efectos de síntesis superiores, y vale la pena esperar sus perspectivas en aplicaciones industriales. El editor de Downcodes cree que con el continuo desarrollo y mejora de la tecnología, CHANGER desempeñará un papel más importante en el futuro.