Recientemente, el equipo de investigación lanzó públicamente un marco de migración de expresión llamado Hellomeme, que puede migrar las expresiones de una persona a las imágenes de otra persona con fidelidad ultra alta. A través de su estructura de red única y su innovador módulo animalfiff, Hellomeme logra un equilibrio perfecto de suavidad y alta calidad de imagen para la generación de videos, y admite las capas de mezclas de Face ARKIT, lo que brinda a los usuarios un buen control sobre las expresiones de personajes. Además, su diseño de adaptador de intercambio en caliente garantiza la compatibilidad con el modelo SD1.5, expande las posibilidades de la creación y mejora significativamente la eficiencia de la generación de videos. Este artículo introducirá en detalle las funciones básicas, las características técnicas y las comparaciones con otros métodos del marco Hellomeme.
Recientemente, el equipo de investigación lanzó un marco llamado Hellomeme, que puede migrar las expresiones de una persona en la imagen a la imagen del personaje en otra imagen.
Como se muestra en la siguiente figura, proporcione una imagen de expresión (primera línea), y luego puede transferir los detalles de expresión a los caracteres de otras imágenes.
El núcleo de Hellomeme es su estructura de red única. El marco puede extraer características de cada cuadro del video de conducción e ingresar estas características en HMControlModule. A través de dicho procesamiento, los investigadores pueden generar imágenes de video suaves. Sin embargo, en el video generado inicialmente, hay un problema de parpadear entre los marcos, lo que afecta la experiencia de visualización general. Para abordar este problema, el equipo introdujo el módulo Animediff, una innovación que mejoró significativamente la continuidad del video pero también redujo la fidelidad de la imagen hasta cierto punto.
En respuesta a esta contradicción, los investigadores optimizaron y ajustaron aún más el módulo Animatediff, logrando en última instancia una alta calidad de imagen al tiempo que mejoró la continuidad del video.
Además, el marco Hellomeme también proporciona un poderoso soporte para la edición de la expresión facial. Al vincular las formas de combinación de caras de Arkit, los usuarios pueden controlar fácilmente las expresiones faciales de los personajes en el video generado. Esta flexibilidad permite a los creadores generar videos con emociones y expresiones específicas según sea necesario, enriqueciendo enormemente la expresividad del contenido de video.
En términos de compatibilidad técnica, Hellomeme adopta un diseño de adaptador de intercambio en caliente basado en SD1.5. La mayor ventaja de este diseño es que no afecta la capacidad de generalización del modelo T2I (texto a imagen), lo que permite que los modelos estilizados desarrollados en SD1.5 se integren perfectamente con Hellomeme. Esto proporciona más posibilidades para varias creaciones.
El equipo de investigación encontró que la introducción de hmReferencemodule mejoró significativamente las condiciones de fidelidad al generar videos, lo que significa que los pasos de muestreo se pueden reducir al generar videos de alta calidad. Este descubrimiento no solo mejora la eficiencia de la generación, sino que también abre nuevas puertas para la generación de videos en tiempo real.
El efecto de la comparación con otros métodos es el siguiente.
Entrada del proyecto: https://songkey.github.io/hellomeme/
https://github.com/hellovision/comfyui_hellomeme
Puntos clave:
Hellomeme logra la doble mejora de la fluidez de la generación de videos y la calidad de la imagen a través de su estructura de red única y su módulo Animatediff.
El marco admite las capas de mezclas de Face ARKIT, lo que permite a los usuarios controlar de manera flexible las expresiones faciales de los personajes y enriquecer el rendimiento del contenido de video.
El diseño del adaptador de intercambio en caliente garantiza la compatibilidad con otros modelos basados en SD1.5, proporcionando una mayor flexibilidad para la creación.
Con su capacidad de migración de expresión eficiente, efecto de generación de videos suaves y una poderosa compatibilidad, el marco Hellomeme proporciona nuevas posibilidades para la creación de videos y se espera que juegue un papel importante en la producción de cine y televisión, efectos especiales de animación y otros campos. Sus características de código abierto también facilitan a más desarrolladores participar y promover conjuntamente el desarrollo y la mejora de la tecnología.