Los equipos de investigación de la Universidad de Ciencia y Tecnología de Hong Kong y la Universidad de Tsinghua lanzaron conjuntamente el Amazing AI Framework Dimensionx, que puede generar escenas detalladas 3D y 4D con una sola imagen. Esta tecnología innovadora utiliza tecnología de difusión de video controlada para extraer información espacial y temporal de una sola imagen y convertirla en marcos de video continuos, que finalmente se combinan en escenas 3D o 4D completas para el desarrollo de juegos, la realidad virtual y los campos de la producción de cine y televisión. trajo cambios revolucionarios. DimensionX está equipado con dos herramientas poderosas, S-director y director T, que controlan la perspectiva de la escena y el movimiento de los objetos respectivamente, logran un control preciso de la escena e incluso pueden usarse en combinación para generar más complejos y realistas escenas.
Los equipos de investigación de la Universidad de Ciencia y Tecnología de Hong Kong y la Universidad de Tsinghua han lanzado un nuevo marco de IA llamado Dimensionx, que puede generar escenas detalladas 3D y 4D con una sola imagen, trayendo los campos del desarrollo de juegos, realidad virtual y película y televisión y televisión ¡Producción.
La magia central de DimensionX es la tecnología de difusión de video controlable. Es como un "mago espacial" experto que puede extraer información espacial y temporal de una sola imagen y convertirla en marcos de video continuos.
Estos marcos de video son como películas de películas, grabando los diversos ángulos y cambios dinámicos de la escena, y finalmente combinándolos en una escena 3D o 4D completa.
Para controlar con precisión la "magia espacial", DimensionX también está equipado con dos poderosas "varitas mágicas": S-director y director T. El S-Director es responsable de la dimensión espacial y puede controlar el movimiento de la perspectiva, al igual que se dispara libremente a través de la escena con su cámara.
T-Director es responsable de la dimensión de tiempo, que puede controlar el movimiento de los objetos y hacer que la escena sea "en vivo".
¡Lo que es aún más sorprendente es que DimensionX también puede combinar estas dos "varitas mágicas" para generar escenas más complejas y realistas!
Por ejemplo, puede hacer que el ángulo de visión gire alrededor de un objeto mientras el objeto se mueve, ¡al igual que se encuentra en un mundo 4D real!
Por supuesto, la "magia" de Dimensionx es más que eso. También está optimizado para escenas reales, como el diseño de un mecanismo de percepción de trayectoria, que puede manejar varios movimientos de cámara complejos, lo que hace que las escenas 3D generadas sean más realistas y confiables.
Además, Dimensionx también ha introducido una estrategia de denominación de identidad, lo que puede garantizar la consistencia de la aparición de objetos en escenas 4D y evitar la vergonzosa situación de la "ruptura".
La aparición de Dimensionx indudablemente trajo avances revolucionarios a los campos de generación de escenas 3D y 4D. No solo tiene una operación simple y efectos sorprendentes, sino que también tiene una amplia gama de aplicaciones y puede usarse en muchos campos, como el desarrollo de juegos, la realidad virtual, la producción de cine y televisión. ¡Creo que en el futuro cercano, Dimensionx nos llevará a un mundo más emocionante de "magia espacial"!
Dirección del proyecto: https://chenshuo20.github.io/dimensionx/
Dirección en papel: https://arxiv.org/pdf/2411.04928
Con su operación simple, efectos sorprendentes y prospectos de aplicaciones extensas, Dimensionx ha traído avances revolucionarios al campo de la generación de escenas 3D y 4D.