Equipes de pesquisa da Universidade de Ciência e Tecnologia de Hong Kong e da Universidade de Tsinghua lançaram em conjunto a incrível DimensionX da estrutura da IA, que pode gerar cenas detalhadas 3D e 4D com apenas uma imagem. Essa tecnologia inovadora usa a tecnologia de difusão de vídeo controlada para extrair informações espaciais e temporais de uma única imagem e convertê -las em quadros de vídeo contínuos, que finalmente se combinam em cenas completas 3D ou 4D para desenvolvimento de jogos, realidade virtual e campos da produção de filmes e televisão têm trouxe mudanças revolucionárias. O DimensionX está equipado com duas ferramentas poderosas, diretor S e diretor de T, que controlam a perspectiva da cena e o movimento de objetos, respectivamente, alcançam controle preciso da cena e podem até ser usados em combinação para gerar mais complexos e realistas cenas.
Equipes de pesquisa da Universidade de Ciência e Tecnologia de Hong Kong e da Universidade Tsinghua lançaram uma nova estrutura de IA chamada DimensionX, que pode gerar cenas detalhadas 3D e 4D com apenas uma imagem, trazendo as áreas de desenvolvimento de jogos, realidade virtual e cinema e televisão Produção.
A magia central do dimensionX é a tecnologia de difusão de vídeo controlável. É como um "mágico espacial" qualificado que pode extrair informações espaciais e temporais de uma única imagem e convertê -las em quadros de vídeo contínuos.
Esses quadros de vídeo são como filmes, gravando os vários ângulos e mudanças dinâmicas da cena e finalmente combinando -as em uma cena completa em 3D ou 4D.
Para controlar com precisão "Space Magic", o DimensionX também é equipado com duas poderosas "varinhas mágicas": diretor S e diretor de T. O diretor S é responsável pela dimensão espacial e pode controlar o movimento da perspectiva, assim como você transporta livremente a cena com sua câmera.
O diretor de T é responsável pela dimensão do tempo, que pode controlar o movimento dos objetos e tornar a cena "ao vivo".
O que é ainda mais incrível é que o DimensionX também pode combinar essas duas "varinhas mágicas" para gerar cenas mais complexas e realistas!
Por exemplo, você pode fazer com que o ângulo de visualização gire ao redor de um objeto enquanto o objeto está se movendo, assim como você está em um mundo real 4D!
Claro, a "Magic" da DimensionX é mais do que isso. Também é otimizado para cenas reais, como projetar um mecanismo de percepção de trajetória, que pode lidar com vários movimentos complexos da câmera, tornando as cenas 3D geradas mais realistas e confiáveis.
Além disso, o DimensionX também introduziu uma estratégia de denoização de manutenção de identidade, que pode garantir a consistência do aparecimento de objetos em cenas 4D e evitar a situação embaraçosa de "quebra-quebra".
O surgimento de dimensionx, sem dúvida, trouxe avanços revolucionários para os campos de geração de cenas 3D e 4D. Ele não apenas tem operação simples e efeitos surpreendentes, mas também tem uma ampla gama de aplicativos e pode ser usada em muitos campos, como desenvolvimento de jogos, realidade virtual, produção de filmes e televisão. Eu acredito que em um futuro próximo, o DimensionX nos levará a um mundo mais emocionante de "Space Magic"!
Endereço do projeto: https://chenshuo20.github.io/dimensionx/
Endereço em papel: https://arxiv.org/pdf/2411.04928
Com sua operação simples, efeitos surpreendentes e extensas perspectivas de aplicativos, o DimensionX trouxe avanços revolucionários ao campo da geração de cenas 3D e 4D.