Hoy en día, con el rápido desarrollo de la realidad virtual y la tecnología de realidad aumentada, cómo crear un avatar digital 3D realista, natural y fácil de operar se ha convertido en un tema de investigación candente. La tecnología ExAvatar lanzada conjuntamente por DGIST y Codec Avatars Lab de Meta nos proporciona una solución completamente nueva. Puede generar rápidamente un avatar 3D realista que puede imitar los movimientos de todo el cuerpo, las expresiones faciales y las posturas de las manos del usuario a través de un simple escaneo del teléfono móvil, y logra un rendimiento dinámico de alta calidad y efectos de renderizado a través de algoritmos y tecnologías avanzados, proporcionando una poderosa plataforma para Los campos del Metaverso han traído nuevas posibilidades.
En la era digital, las tecnologías de realidad virtual (VR) y realidad aumentada (AR) están cambiando gradualmente la forma en que vivimos y trabajamos. Imagina poder crear un avatar 3D que imite cada uno de tus movimientos y expresiones. ¿Cómo sería?
ExAvatar, desarrollado conjuntamente por DGIST y Codec Avatars Lab de Meta, está convirtiendo esta imaginación en realidad. Esta tecnología captura los movimientos de todo el cuerpo, las expresiones faciales e incluso los gestos de las manos a través de un vídeo y los convierte en una imagen digital 3D realista.
Dos innovaciones de ExAvatar: primero, utiliza el modelo de malla paramétrica de cuerpo completo SMPL-X para capturar y reproducir con precisión varias posturas del cuerpo humano; segundo, combinado con la tecnología de pulverización gaussiana 3D (3DGS), hace que ExAvatar sea más realista y eficiente; capacidades de renderizado.
Funciones principales:
Controlador 3D de cuerpo completo: admite animación integral del cuerpo, las manos y la cara, generando una variedad de poses y expresiones.
Representación híbrida: combina mallas de superficie y gaussianas 3D para garantizar la coherencia geométrica y de apariencia y reducir los artefactos.
Captura conveniente: puede crear un avatar 3D escaneando con su teléfono móvil en poco tiempo y la operación es simple.
Representación de alta calidad: utilice algoritmos y tecnologías avanzados para lograr un rendimiento dinámico y efectos de representación de alta calidad.
Mejor que la tecnología existente: supera la tecnología anterior de generación de avatares 3D en términos de movimiento y apariencia naturales, y se adapta a una gama más amplia de escenarios de aplicación.
ExAvatar resuelve algunos de los desafíos de las tecnologías anteriores, como la falta de diversidad en las expresiones faciales y poses, y la falta de datos de observación como escaneos 3D e imágenes de profundidad. Al combinar representaciones, ExAvatar mejora la naturalidad de las animaciones y reduce los artefactos que pueden aparecer en nuevas poses.
Antes de entrenar a ExAvatar, el equipo de investigación registró conjuntamente el cuerpo, las manos y la cara con el modelo SMPL-X, introdujo compensaciones articulares y faciales, optimizó la longitud de los huesos de la mano y la forma del área facial y mejoró la expresividad y naturalidad del avatar.
La arquitectura técnica de ExAvatar extrae las características de cada gaussiano y las procesa a través de un perceptrón multicapa (MLP), combinado con una cuadrícula estándar para formar un avatar 3D que se puede animar en un espacio estándar. El algoritmo de interpolación de mezcla lineal (LBS) se utiliza para el procesamiento de la animación y el avatar se representa en la pantalla con la ayuda de la tecnología 3DGS, lo que garantiza efectos visuales de alta calidad.
La conveniencia de ExAvatar se refleja en el hecho de que los usuarios pueden crear avatares 3D con un simple escaneo del teléfono móvil, admitir animación con nuevas posturas corporales, gestos y expresiones faciales, y renderizar desde cualquier ángulo de visión. Esta técnica utiliza un método de representación híbrido que trata cada gaussiano 3D como un vértice de la superficie, con conectividad predefinida entre estos vértices, coincidiendo con la topología de malla de SMPL-X.
Dirección del proyecto: https://top.aibase.com/tool/exavatar
Dirección del artículo: https://arxiv.org/pdf/2407.21686
Con su alta precisión, eficiencia y facilidad de uso, se espera que ExAvatar sea ampliamente utilizado en campos como la realidad virtual, la realidad aumentada, el desarrollo de juegos y la creación de contenido digital, brindando a los usuarios una experiencia digital más inmersiva e interactiva. En el futuro, esta tecnología también podrá desempeñar un papel importante en la colaboración remota, la formación virtual, etc.