A Jijia Technology lançou recentemente uma nova estrutura de reconstrução de cenas de direção 4D chamada drivereamer4d. Condições da estrada. DriveReamer4D expande efetivamente os dados de treinamento e melhora bastante a robustez do modelo, introduzindo um modelo mundial.
O método tradicional de reconstrução de cenas 4D depende principalmente de duas principais escolas: NERF e 3DGS. O NERF usa redes neurais para renderizar fotos em modelos 3D, enquanto o 3DGS usa uma função gaussiana tridimensional para simular objetos na cena. No entanto, ambos os métodos dependem muito dos dados de treinamento e têm um desempenho ruim ao lidar com condições complexas de rodovias (como mudança de faixa, aceleração e desaceleração). O DriveReamer4D apresenta modelos mundiais para prever possíveis situações futuras e gera novos dados de vídeo em perspectiva sob várias condições complexas da estrada, o que equivale a fornecer dados de treinamento "compensado cerebral" para o modelo de reconstrução de cenas 4D. Além disso, o novo módulo de geração de trajetória (NTGM) gera automaticamente várias novas trajetórias que estão em conformidade com as regras de tráfego e usa o modelo mundial para gerar vídeos das perspectivas correspondentes, permitindo que o modelo fique à vontade sob várias condições complexas da estrada. Resultados experimentais mostram que o efeito de reconstrução do driveReamer4D no lidar com condições complexas da estrada é significativamente melhor que o dos métodos tradicionais, a imagem gerada é mais fidelidade e pode restaurar com precisão a localização das linhas de veículo e pista. Espera -se que o surgimento do drivereamer4D melhore significativamente a eficiência, a segurança e a confiabilidade da pesquisa e desenvolvimento autônomos de direção.
Mas ambos os métodos têm uma fraqueza fatal: eles dependem demais dos dados de treinamento! Portanto, ao enfrentar condições complexas da estrada, como mudança de faixa, aceleração e desaceleração, eles são propensos a derrubar.
Para resolver esse problema, a Jijia Technology lançou um grande assassino - drivereamer4d desta vez. Em suma, isso é adicionar um modelo plug-in de IA ao mundo à reconstrução de cenas 4D.
Você pode entender o modelo mundial como um cérebro de IA que pode prever o que pode acontecer no futuro com base nos dados existentes. O DriveReamer4D usa o modelo mundial para gerar novos dados de vídeo em perspectiva sob várias condições complexas da estrada, o que equivale a alimentar o modelo de reconstrução de cena 4D "compensado cerebral" dados de treinamento, para que possa ter conhecimento e não falhar mais.
O que é ainda mais impressionante é que o drivereamer4d também projetou especialmente um novo módulo de geração de faixas (NTGM). Essa coisa pode gerar automaticamente várias novas trajetórias que atendem às regras de tráfego, como mudança de faixa, aceleração, desaceleração etc., e depois usar o modelo mundial para gerar vídeos de perspectivas correspondentes, o que é equivalente a pedir um "estudante" para o Modelo de reconstrução da cena 4D.
Os resultados experimentais também provam a força do drivereamer4D. Ao lidar com condições complexas da estrada, seu efeito de reconstrução é significativamente melhor que os métodos tradicionais, a imagem gerada é mais fidelidade e pode restaurar com precisão a localização das linhas do veículo e da pista.
Em suma, o surgimento de drivereamer4d é como jogar uma bomba nuclear no campo da reconstrução da cena 4D, explodindo diretamente o teto da tecnologia. Com ele, a pesquisa, o desenvolvimento e o teste de direção autônoma serão mais eficientes, seguros e confiáveis.
Obviamente, o drivereamer4D ainda está no estágio de pesquisa e ainda há muitas coisas a melhorar no futuro. Mas acredito que, à medida que a tecnologia continua a se desenvolver, ela se tornará mais forte e, finalmente, se tornará uma parte indispensável do campo da direção autônoma.
Endereço em papel: https://arxiv.org/pdf/2410.13571
Página inicial do projeto: https://drivedreamer4d.github.io/
Endereço de código: https://github.com/gigaai-research/drivedreamer4d
O surgimento da estrutura DriveRamer4D trouxe avanços revolucionários à tecnologia de reconstrução de cenas 4D, e suas perspectivas de aplicativos no campo da direção autônoma valem ansiosamente. Embora ainda esteja no estágio de pesquisa, seu poderoso desempenho e amplas perspectivas de aplicativos indicam que a tecnologia de direção autônoma passará para uma nova altura.