Un equipo de investigación de la Universidad Carnegie Mellon lanzó recientemente una tecnología innovadora: DressRecon, que puede reconstruir un modelo 3D detallado y consistente en el tiempo del cuerpo humano a partir de un video monocular. A diferencia de los métodos anteriores de reconstrucción del cuerpo humano que requieren ropa ajustada o datos de múltiples vistas, DressRecon puede manejar escenas con ropa holgada o incluso sosteniendo objetos, ampliando enormemente el alcance de las aplicaciones y aportando innovación a campos como la creación de imágenes virtuales y la producción de animaciones. El editor de Downcodes le brindará una comprensión profunda de esta impresionante tecnología.
Recientemente, un equipo de investigación de la Universidad Carnegie Mellon lanzó una nueva tecnología llamada "DressRecon" que tiene como objetivo reconstruir un modelo humano consistente en el tiempo a partir de video monocular. Lo mejor de DressRecon es que no sólo puedes ingresar un video para construir un modelo 3D, sino que también puedes restaurar detalles finos como ropa compleja y artículos de mano.
Esta tecnología es particularmente adecuada para escenarios en los que se usa ropa holgada o se interactúa con objetos de mano, rompiendo las limitaciones de las tecnologías anteriores. En el pasado, la reconstrucción del cuerpo humano generalmente requería el uso de ropa ajustada, o una calibración de múltiples vistas para capturar datos, o incluso un escaneo personalizado, que era difícil de recopilar a gran escala.
La innovación de "DressRecon" es que combina conocimientos previos generales sobre la forma del cuerpo humano y la deformación corporal específica del vídeo, y puede optimizarse dentro de un vídeo.
El núcleo de esta tecnología es aprender un modelo neuronal implícito que pueda manejar la deformación del cuerpo y la ropa por separado y establecer capas de modelos de movimiento por separado.
Para capturar las sutiles características geométricas de la ropa, el equipo de investigación utilizó conocimientos previos basados en imágenes, incluida la postura humana, las normales de la superficie y el flujo óptico. Esta información proporciona apoyo adicional durante el proceso de optimización, haciendo que el efecto de reconstrucción sea más realista.
DressRecon puede extraer modelos 3D de alta fidelidad a partir de una única entrada de vídeo e incluso puede optimizarse aún más en gaussianos 3D explícitos para mejorar la calidad de renderizado y admitir la visualización interactiva.
Los investigadores demostraron los efectos de reconstrucción 3D de alta fidelidad que DressRecon puede lograr en algunos conjuntos de datos desafiantes de interacción de objetos y deformación de la ropa.
Además, la imagen humana virtual reconstruida se puede representar desde cualquier ángulo, lo que muestra un efecto de gran impacto visual. El equipo también comparó el rendimiento de DressRecon con múltiples tecnologías de referencia en la reconstrucción de formas. Los resultados mostraron que DressRecon mostró una mayor fidelidad al procesar estructuras deformadas complejas.
Entrada del proyecto: https://jefftan969.github.io/dressrecon/
Destacar:
El equipo de investigación lanzó la tecnología DressRecon para lograr la reconstrucción del cuerpo humano de alta calidad a través de video monocular, especialmente adecuado para escenas con ropa holgada y objetos en las manos.
? Utilizando modelos neuronales implícitos, esta tecnología maneja las deformaciones del cuerpo y la ropa por separado y captura características geométricas sutiles con la ayuda del conocimiento previo de la base de imágenes.
? Los resultados de la reconstrucción no sólo pueden generar modelos tridimensionales de alta fidelidad, sino que también admiten la representación desde cualquier ángulo, mejorando la experiencia de visualización.
La aparición de la tecnología DressRecon sin duda promoverá un gran paso adelante en el desarrollo de la tecnología de modelado 3D del cuerpo humano. Sus características eficientes y convenientes, así como sus excelentes capacidades de procesamiento para escenas complejas, brindan posibilidades ilimitadas a los campos de la realidad virtual, la producción de animación, el desarrollo de juegos y otros campos en el futuro. ¡Esperamos que esta tecnología alcance su gran potencial en más escenarios de aplicación!