A Meta Corporation lançou recentemente uma nova tecnologia de modelo 3D de geração de texto chamada Meta3D Gen (3DGen), que pode criar modelos 3D de alta qualidade com texturas e materiais realistas de forma rápida e eficiente. Esta tecnologia inovadora combina os dois componentes principais do Meta3D AssetGen e do Meta3D TextureGen para melhorar significativamente a eficiência e a qualidade da geração de modelos 3D, trazendo uma experiência sem precedentes aos usuários. O 3DGen supera as soluções existentes em velocidade e qualidade, trazendo novas possibilidades para áreas como desenvolvimento de jogos, realidade virtual e metaverso.
Recentemente, os pesquisadores lançaram uma nova tecnologia de modelo 3D gerada por texto rápida chamada Meta3D Gen (3D Gen). Cria modelos 3D de maneira eficiente com texturas e materiais de alta qualidade, trazendo aos usuários uma experiência totalmente nova.
Este novo sistema combina dois componentes principais: Meta 3D AssetGen para criar malhas 3D e Meta 3D TextureGen para gerar texturas. Essas tecnologias trabalham juntas para produzir ativos 3D com texturas de alta resolução e materiais de renderização com base física (PBR). Segundo a Meta, o processo é de três a dez vezes mais rápido que as soluções existentes.
Meta3D AssetGen
Entre eles, Meta3D AssetGen (AssetGen) é um grande avanço no campo da geração de texto 3D, que pode alcançar a geração de ativos 3D de alta qualidade em menos de 1 minuto. AssetGen gera materiais de renderização com base física (PBR) para obter recursos poderosos de geração de texto para 3D e texto para textura com efeitos de iluminação reais.
O AssetGen primeiro gera diversas visualizações do objeto, incluindo informações de aparência para canais de sombra e reflexão, e depois reconstrói cor, metalicidade e rugosidade no espaço 3D, usando uma perda de sombreamento diferida para supervisão eficiente. Ele também usa funções de distância sinalizada para representar formas 3D de forma mais confiável e introduz perdas correspondentes para supervisão direta de formas. Para melhorar a eficiência da memória, este método usa kernels de convolução fundidos. Após a extração da malha, um transformador que refina a textura no espaço UV melhora significativamente a clareza e os detalhes da textura.
AssetGen alcança uma melhoria de 17% na distância de chanfro e uma melhoria de 40% no LPIPS em comparação com os melhores métodos concorrentes ao mesmo tempo, em testes de preferência humana contra os melhores concorrentes da indústria na mesma velocidade, alcançou 72% de favorecimento;
Textura Meta3DGen
Os pesquisadores também introduziram o Meta3D TextureGen, uma nova abordagem avançada que consiste em duas redes sequenciais projetadas para gerar texturas de alta qualidade e globalmente consistentes para geometria de complexidade arbitrária em menos de 20 segundos.
Este método alcança resultados de última geração em qualidade e velocidade, combinando um modelo de imagem gerador de texto com condições semânticas 3D no espaço 2D e fundindo-as em um mapa de textura UV completo e de alta resolução.
Os pesquisadores também introduziram uma rede de aprimoramento de textura que pode aprimorar qualquer textura em qualquer escala para gerar texturas com resolução de 4K pixels.
Blog oficial: https://ai.meta.com/research/publications/meta-3d-gen/
Destaque:
-O sistema Meta 3D Gen cria ativos 3D de alta qualidade em menos de um minuto
- Meta3D Gen integra as duas tecnologias principais Meta3D AssetGen e Meta3DTextureGen.
- AssetGen oferece suporte à geração de materiais de renderização baseados em física com efeitos de reacendimento realistas.
- Meta3D TextureGen é um método para gerar rapidamente texturas de alta qualidade para geometria de qualquer complexidade.
O surgimento do Meta3D Gen marca um progresso significativo na tecnologia de modelos 3D de geração de texto. Sua eficiência, alta qualidade e facilidade de uso promoverão enormemente o desenvolvimento do campo de criação de conteúdo 3D e trarão possibilidades ilimitadas para todas as esferas da vida. No futuro, podemos esperar a aplicação e otimização adicional do Meta3D Gen em mais campos.