See3D, o modelo de última geração 3D lançado pelo Instituto de Pesquisa de Inteligência Artificial Zhiyuan de Pequim (BAAI), alcançou um avanço tecnológico ao usar vídeos massivos da Internet sem rótulo para gerar cenas 3D. Este modelo não precisa depender de parâmetros de câmera tradicionais e anotações 3D. Ele pode gerar imagens de visualização múltipla com direções de câmera controláveis e geometria consistente usando apenas pistas visuais no vídeo, reduzindo bastante o custo e a dificuldade da coleta de dados 3D. See3D suporta uma variedade de métodos de geração 3D, incluindo geração baseada em texto, visualização única e visualização esparsa, e é capaz de edição 3D e renderização gaussiana. Sua gama de aplicações cobre muitos campos, como mundo interativo 3D, reconstrução 3D e mundo aberto. Geração 3D Demonstra forte potencial de aplicação. O código do modelo e a demonstração foram de código aberto para facilitar a exploração e aplicação pelos pesquisadores.
O treinamento do modelo See3D é baseado em um conjunto de dados WebVi3D contendo 16 milhões de videoclipes e 320 milhões de quadros de imagens. Ao adicionar ruído dependente do tempo aos dados de vídeo mascarados, é alcançada a geração 3D sem câmera. Suas vantagens residem na escalabilidade dos dados, na controlabilidade da câmera e na consistência geométrica. Ele pode gerar cenas sob quaisquer trajetórias complexas da câmera e manter a consistência geométrica das visualizações do quadro anterior e seguinte. See3D fornece novas ideias para o desenvolvimento de tecnologia de geração 3D, que deverá promover a atenção da comunidade de pesquisa 3D para dados de anotação em grande escala sem câmeras e estreitar a lacuna com as soluções 3D de código fechado existentes. Endereço do projeto: https://vision.baai.ac.cn/see3d
Através de um design inteligente, o modelo See3D resolve o problema do alto custo da coleta tradicional de dados 3D e fornece uma solução mais conveniente e eficiente para a criação de conteúdo 3D. Sua natureza de código aberto também incentiva mais pesquisadores a participarem e promoverem conjuntamente o avanço da tecnologia de geração 3D. Acredito que o surgimento do See3D terá um impacto profundo no campo da visão 3D.