Des équipes de recherche de l'Université des sciences et de la technologie de Hong Kong et de l'Université Tsinghua ont lancé conjointement l'incroyable framework AI DimensionX, qui peut générer des scènes 3D et 4D détaillées avec une seule image. Cette technologie révolutionnaire utilise une technologie de diffusion vidéo contrôlée pour extraire les informations spatiales et temporelles à partir d'une seule image et la convertir en cadres vidéo continues, qui se combinent finalement en scènes 3D ou 4D complètes pour le développement de jeux, la réalité virtuelle et les domaines de la production cinématographique et télévisée ont apporté des changements révolutionnaires. DimensionX est équipé de deux outils puissants, S-Director et T-Director, qui contrôlent la perspective de la scène et le mouvement des objets respectivement, obtiennent un contrôle précis de la scène et peuvent même être utilisés en combinaison pour générer plus complexe et réaliste scènes.
Des équipes de recherche de l'Université des sciences et de la technologie de Hong Kong et de l'Université Tsinghua ont lancé un nouveau cadre d'IA appelé DimensionX, qui peut générer des scènes 3D et 4D détaillées avec une seule image, apportant les domaines du développement de jeux, de la réalité virtuelle et du cinéma et de la télévision La production.
La magie centrale de DimensionX est la technologie de diffusion vidéo contrôlable. C'est comme un "magicien de l'espace" qualifié qui peut extraire des informations spatiales et temporelles à partir d'une seule image et la convertir en cadres vidéo continus.
Ces cadres vidéo sont comme des films de cinéma, enregistrant les différents angles et les changements dynamiques de la scène, et les combinant enfin en une scène 3D ou 4D complète.
Afin de contrôler avec précision "Space Magic", DimensionX est également équipé de deux puissants "baguettes magiques": S-Director et T-Director. Le S-Director est responsable de la dimension spatiale et peut contrôler le mouvement de la perspective, tout comme vous faites la navette librement à travers la scène avec votre appareil photo.
T-Director est responsable de la dimension temporelle, qui peut contrôler le mouvement des objets et rendre la scène "en direct".
Ce qui est encore plus étonnant, c'est que DimensionX peut également combiner ces deux "baguettes magiques" pour générer des scènes plus complexes et réalistes!
Par exemple, vous pouvez faire tourner l'angle de vision autour d'un objet pendant que l'objet se déplace, tout comme vous êtes dans un vrai monde 4D!
Bien sûr, la "magie" de DimensionX est plus que cela. Il est également optimisé pour des scènes réelles, telles que la conception d'un mécanisme de perception de la trajectoire, qui peut gérer divers mouvements de caméras complexes, ce qui rend les scènes 3D générées plus réalistes et dignes de confiance.
De plus, DimensionX a également introduit une stratégie de dénaison de gardien d'identité, qui peut garantir la cohérence de l'apparition d'objets dans des scènes 4D et éviter la situation embarrassante de la «rupture».
L'émergence de DimensionX a sans aucun doute apporté des percées révolutionnaires aux champs de génération de scène 3D et 4D. Il a non seulement un fonctionnement simple et des effets étonnants, mais a également un large éventail d'applications et peut être utilisé dans de nombreux domaines tels que le développement de jeux, la réalité virtuelle, la production cinématographique et télévisée. Je crois que dans un avenir proche, DimensionX nous mènera dans un monde plus excitant de "Space Magic"!
Adresse du projet: https://chenshuo20.github.io/dimensionx/
Adresse papier: https://arxiv.org/pdf/2411.04928
Avec son fonctionnement simple, ses effets incroyables et ses vastes perspectives d'application, Dimensionx a apporté des percées révolutionnaires sur le terrain de la génération de scène 3D et 4D.