O Tencent AI Lab e o ARC Lab da Tencent PCG lançaram em conjunto uma nova estrutura chamada StereoCrafter. Essa tecnologia pode converter vídeos 2D comuns em vídeos 3D estereoscópicos de alta fidelidade, trazendo mudanças revolucionárias à experiência imersiva. StereoCrafter usa tecnologia de aprendizagem profunda para superar as limitações dos métodos tradicionais de conversão de vídeo 3D, melhorar significativamente o efeito de geração e pode se adaptar aos requisitos de alta fidelidade de vários dispositivos de exibição para atender à crescente demanda por conteúdo 3D.
Recentemente, o Tencent AI Lab e o ARC Lab da Tencent PCG lançaram em conjunto uma nova estrutura chamada StereoCrafter, que pode converter vídeos 2D comuns em vídeos 3D estereoscópicos de alta fidelidade.
Esta inovação responde à crescente procura de conteúdos 3D, especialmente no domínio das experiências imersivas. StereoCrafter aproveita ao máximo as vantagens do modelo básico, supera as limitações dos métodos de conversão tradicionais, melhora significativamente o efeito de geração e garante que o conteúdo gerado possa atender aos requisitos de alta fidelidade de vários dispositivos de exibição.
O núcleo do sistema é dividido em duas etapas principais. O primeiro passo é remapear o vídeo com base nas informações de profundidade, extrair informações de oclusão e realizar a transformação do vídeo ao mesmo tempo. O segundo passo é reparar o vídeo estereoscópico; O sistema usa um modelo de difusão de vídeo estável pré-treinado como base e introduz um protocolo de ajuste fino para a tarefa de pintura de vídeo estereoscópico. Para lidar com entradas de vídeo de diferentes comprimentos e resoluções, a equipe também explorou estratégias autorregressivas e técnicas de processamento de fatiamento para garantir que o sistema possa se adaptar de forma flexível às diversas condições de entrada.
Para apoiar o treinamento, a equipe construiu um sofisticado pipeline de processamento de dados que gerou conjuntos de dados em grande escala e de alta qualidade. Durante o processo de construção do conjunto de dados, a equipe de pesquisa selecionou um grande número de vídeos estereoscópicos e gerou a profundidade de vídeo correspondente, transformou o vídeo e as informações de oclusão para garantir que o vídeo à direita servisse como uma referência real. Esses métodos inovadores fornecem soluções práticas para converter vídeos 2D em vídeos 3D, permitindo que o Apple Vision Pro e outros dispositivos de exibição 3D apresentem uma experiência imersiva mais emocionante.
StereoCrafter não é apenas um avanço tecnológico, mas também traz mudanças potenciais na forma como a mídia digital é experimentada, mudando potencialmente a forma como assistimos e experimentamos o conteúdo digital.
Entrada do projeto: https://stereocrafter.github.io/
Destaques:
StereoCrafter usa nova tecnologia para converter com eficiência vídeos 2D em vídeos 3D estereoscópicos envolventes.
O sistema é dividido em duas etapas principais: reconstrução de vídeo em profundidade e reparo de vídeo estereoscópico para melhorar o efeito de geração.
A equipe de pesquisa construiu conjuntos de dados de alta qualidade para apoiar o treinamento de algoritmos e garantir a qualidade dos resultados.
O surgimento do StereoCrafter marca um grande salto na tecnologia de conversão de vídeo 2D para 3D. Sua eficiência de conversão eficiente e qualidade de saída de alta fidelidade enriquecerão enormemente a criação e o consumo de conteúdo 3D, proporcionando aos usuários uma experiência audiovisual mais envolvente. No futuro, espera-se que esta tecnologia seja amplamente utilizada em filmes, jogos, realidade virtual e outros campos.