ByteDance e investigadores de la Universidad de Ciencia y Tecnología de Shanghai desarrollaron conjuntamente una tecnología innovadora llamada "HeadGAP" que puede generar rápidamente un modelo de cabeza humana virtual 3D realista y animable utilizando solo tres fotografías de una persona objetivo desde diferentes ángulos. Esta tecnología rompe con la dependencia del modelado 3D tradicional de grandes cantidades de datos y operaciones complejas, brinda una comodidad sin precedentes para la creación de personajes virtuales y tiene capacidades de personalización personalizadas extremadamente altas. A través de la información previa de la cabeza en 3D acumulada en la etapa de "aprendizaje previo", HeadGAP puede generar de manera eficiente avatares virtuales que restauran en gran medida las características del personaje objetivo y admiten la sincronización de expresiones faciales basadas en videos de referencia.
Recientemente, investigadores de ByteDance y la Universidad ShanghaiTech desarrollaron un estudio llamado "HeadGAP" que atrajo la atención de todos. El equipo de investigación propuso un nuevo método que puede usar solo tres imágenes de diferentes perspectivas de la persona objetivo. imagen realista y animable de cabeza humana virtual en 3D y sincronizar expresiones faciales basadas en videos de referencia.
El equipo de investigación demostró cómo crear avatares personalizados con una pequeña cantidad de datos en escenarios reales. En este estudio, los investigadores llevaron a cabo primero una etapa llamada "aprendizaje previo". En esta etapa, extrajeron información previa sobre la cabeza 3D de un gran conjunto de datos dinámicos de múltiples vistas. Esta información previa puede ayudar al sistema a comprender diferentes características y expresiones de la cabeza. Luego, en la etapa de "creación de avatar", los investigadores utilizan esta información previa para realizar una personalización personalizada y generar un avatar virtual de la persona objetivo.
Todo el proceso utiliza una red de autodecodificación basada en nubes de puntos gaussianas, combinada con modelado dinámico parcial. De esta manera, el sistema puede capturar rápidamente la singularidad de cada individuo y realizar una optimización personalizada del avatar sobre esta base. El equipo también utilizó algunos medios técnicos, como inversión y estrategias de ajuste, para hacer que el proceso de personalización del avatar sea más eficiente y, en última instancia, logró con éxito efectos de renderizado a nivel de fotografía y coherencia de múltiples vistas.
En experimentos, el equipo de investigación demostró el rendimiento de su método en diferentes escenarios. Los resultados mostraron que los avatares 3D generados pueden mantener efectos de animación estables y de alta calidad, ya sea en un entorno controlado o en un entorno real. Este logro no sólo tiene amplias perspectivas de aplicación en las redes sociales virtuales, el desarrollo de juegos y otros campos, sino que también proporciona nuevas ideas y métodos para la producción personalizada de avatares 3D.
Entrada del producto: https://top.aibase.com/tool/headgap
Destacar:
El equipo de investigación utilizó el método "HeadGAP" para crear una imagen virtual realista de la cabeza en 3D con sólo unas pocas fotos.
Este método utiliza una red de puntos gaussianos y tecnología de modelado dinámico para lograr una personalización y optimización personalizadas de los avatares.
Los resultados experimentales muestran que el avatar generado tiene una excelente calidad de renderizado y rendimiento de animación, y es adecuado para una variedad de escenarios de aplicaciones.
La aparición de la tecnología HeadGAP marca un nuevo hito en la tecnología de generación de retratos virtuales 3D. Su eficiencia, conveniencia y alta fidelidad seguramente traerán un impacto revolucionario a campos como la realidad virtual y el metaverso. En el futuro, podemos esperar que esta tecnología se utilice en más campos para brindar a las personas experiencias virtuales más realistas y personalizadas.