Media2Face es un innovador modelo de generación de animación facial 3D multimodal que puede generar animaciones de expresiones faciales realistas basadas en entradas multimodales como el habla. Este modelo construye un conjunto de datos a gran escala llamado M2F-D mediante la introducción de activos faciales parametrizados neuronales generalizados (GNPFA) y su uso para extraer información de expresión de alta calidad y postura de la cabeza a partir de datos de video masivos. Finalmente, el equipo de investigación propuso un modelo de difusión Media2Face basado en el espacio latente GNPFA, logrando una generación de animación facial en colenguaje de alta calidad y alcanzando nuevas alturas en términos de fidelidad y expresividad. Permite a los usuarios personalizar las animaciones generadas, como ajustar la ira, la felicidad y otras expresiones emocionales.
Media2Face es un modelo de producto que admite voz y otras guías multimodales para generar expresiones faciales dinámicas en 3D. Al realizar ajustes personalizados más detallados a la animación facial generada, también permite a los usuarios realizar ajustes personalizados más detallados a la animación facial generada, como ira, felicidad, etc. El equipo de investigación respondió al desafío a través de tres pasos clave: primero, introdujo recursos faciales parametrizados neuronalmente generalizados, luego utilizó GNPFA para extraer expresiones de alta calidad y poses precisas de la cabeza de una gran cantidad de videos para formar el conjunto de datos M2F-D, y finalmente propuso Media2Face, un modelo de difusión espacial latente de GNPFA para la generación de animaciones faciales en colenguaje. En general, Media2Face ha logrado resultados impresionantes en el campo de la animación facial en colenguaje, abriendo nuevas posibilidades para la fidelidad y expresividad de la síntesis de animación facial.La aparición del modelo Media2Face ha traído nuevos avances tecnológicos a los campos de la producción de animación 3D, la realidad virtual y la interacción persona-computadora. Sus capacidades de generación eficiente y opciones de personalización altamente personalizadas presagian un futuro más realista y expresivo. . Esta tecnología tiene una amplia gama de escenarios de aplicación en el futuro y merece una atención continua en su desarrollo.