La última tecnología de animación de retratos de Bytedance X-Portrait2 ha traído una innovación al campo de producción de animación con su costo ultra bajo y alta eficiencia. Esta tecnología no requiere una captura de movimiento compleja, y solo se pueden generar retratos estáticos y videos basados en el rendimiento para generar videos animados realistas, simplificando en gran medida el proceso de producción de animación. Su núcleo se encuentra en el modelo de codificador de expresión avanzada, que puede capturar y migrar con precisión cambios de expresión sutiles, e incluso las expresiones complejas, como hacer pucheros y sobresalir, se pueden presentar perfectamente, asegurando la alta fidelidad y expresividad de la animación.
Recientemente, Bytedance lanzó la última tecnología de animación de retratos X-Portrait2, con el objetivo de crear animaciones de personajes expresivas y realistas de una manera ultra baja y eficiente. Los usuarios solo necesitan proporcionar imágenes de retratos estáticos y videos basados en el rendimiento, y X-Portrait2 puede generar videos animados transfiriendo expresiones en el video a retratos, simplificando así el complejo proceso de captura de movimiento tradicional y animación de personajes.
El núcleo de esta tecnología se encuentra en su modelo avanzado de codificadores de emoji, que ha sido entrenado en conjuntos de datos a gran escala y puede codificar implícitamente pequeñas expresiones en las entradas. Combinado con un poderoso modelo de difusión generativo, X-Portrait2 puede generar videos suaves y expresivos que transmiten las sutiles expresiones faciales del actor, incluso desafiantes expresiones como hacer pucheros, sobresalir la lengua, las mejillas abultadas y el ceño. Al mismo tiempo, los videos generados también mantienen una alta fidelidad en el rendimiento emocional.
Al entrenar al codificador de emoji, el equipo de desarrollo asegura una fuerte separación de apariencia y movimiento, lo que permite al codificador centrarse en la información relacionada con la expresión en el video. Este diseño permite que el modelo alcance la migración de expresión cruzada y de dominio cruzado, y es adecuado para una variedad de escenas como narración real, animación de personajes, agentes virtuales y efectos visuales.
En comparación con los métodos de vanguardia, como X-Portrait y Runway Act-One, X-Portrait2 muestra una mayor precisión en movimientos rápidos de la cabeza, pequeños cambios de expresión y transmisión emocional personal para la creación de contenido de animación de alta calidad, es crucial, como como contenido de animación en animación y producción de películas.
Dirección: https://byteaigc.github.io/x-portrait2/
La aparición de la tecnología X-Portrait2 marca otro salto en la tecnología de animación de retratos. . Para obtener más información, visite la dirección del proyecto.