Tencent AI Lab y ARC Lab de Tencent PCG lanzaron conjuntamente un nuevo marco llamado StereoCrafter. Esta tecnología puede convertir videos 2D comunes en videos 3D estereoscópicos de alta fidelidad, aportando cambios revolucionarios a la experiencia inmersiva. StereoCrafter utiliza tecnología de aprendizaje profundo para superar las limitaciones de los métodos tradicionales de conversión de video 3D, mejorar significativamente el efecto de generación y puede adaptarse a los requisitos de alta fidelidad de varios dispositivos de visualización para satisfacer la creciente demanda de contenido 3D.
Recientemente, Tencent AI Lab y ARC Lab de Tencent PCG lanzaron conjuntamente un nuevo marco llamado StereoCrafter, que puede convertir videos 2D comunes en videos 3D estereoscópicos de alta fidelidad.
Esta innovación responde a la creciente demanda de contenidos 3D, especialmente en el campo de las experiencias inmersivas. StereoCrafter aprovecha al máximo las ventajas del modelo básico, supera las limitaciones de los métodos de conversión tradicionales, mejora significativamente el efecto de generación y garantiza que el contenido generado pueda cumplir con los requisitos de alta fidelidad de varios dispositivos de visualización.
El núcleo del sistema se divide en dos pasos principales. El primer paso es reasignar el video según la información de profundidad, extraer información de oclusión y realizar la transformación del video al mismo tiempo; el segundo paso es reparar el video estereoscópico. El sistema utiliza un modelo de difusión de video estable previamente entrenado como base e introduce un protocolo de ajuste fino para la tarea de pintura de video estereoscópico. Para manejar entradas de video de diferentes longitudes y resoluciones, el equipo también exploró estrategias autorregresivas y técnicas de procesamiento de corte para garantizar que el sistema pueda adaptarse de manera flexible a diversas condiciones de entrada.
Para respaldar la capacitación, el equipo creó un sofisticado sistema de procesamiento de datos que generó conjuntos de datos a gran escala y de alta calidad. Durante el proceso de construcción del conjunto de datos, el equipo de investigación seleccionó entre una gran cantidad de videos estereoscópicos y generó la profundidad de video correspondiente, transformó el video y la información de oclusión para garantizar que el video de la derecha sirva como un punto de referencia real. Estos métodos innovadores brindan soluciones prácticas para convertir videos 2D en videos 3D, lo que permite que Apple Vision Pro y otros dispositivos de visualización 3D presenten una experiencia inmersiva más emocionante.
StereoCrafter no es sólo un avance tecnológico, sino que también trae cambios potenciales en la forma en que se experimentan los medios digitales, cambiando potencialmente la forma en que vemos y experimentamos el contenido digital.
Entrada del proyecto: https://stereocrafter.github.io/
Destacar:
StereoCrafter utiliza nueva tecnología para convertir de manera eficiente videos 2D en videos 3D estereoscópicos inmersivos.
El sistema se divide en dos pasos principales: reconstrucción de video en profundidad y reparación de video estereoscópico para mejorar el efecto de generación.
El equipo de investigación construyó conjuntos de datos de alta calidad para respaldar el entrenamiento de algoritmos y garantizar la calidad de los resultados.
La aparición de StereoCrafter marca un gran salto en la tecnología de conversión de vídeo 2D a 3D. Su eficiencia de conversión eficiente y su calidad de salida de alta fidelidad enriquecerán enormemente la creación y el consumo de contenido 3D, brindando a los usuarios una experiencia audiovisual más inmersiva. En el futuro, se espera que esta tecnología se utilice ampliamente en películas, juegos, realidad virtual y otros campos.