Jijia Technology lanzó recientemente un nuevo marco de reconstrucción de la escena de conducción 4D llamado DriveReamer4D. Condiciones del camino. DivedReamer4d expande efectivamente los datos de entrenamiento y mejora enormemente la robustez del modelo al introducir un modelo mundial.
El método tradicional de reconstrucción de la escena 4D se basa principalmente en dos escuelas principales: NERF y 3DGS. NERF utiliza redes neuronales para representar fotos en modelos 3D, mientras que 3DGS usa una función gaussiana tridimensional para simular objetos en la escena. Sin embargo, ambos métodos se basan en los datos de capacitación y funcionan mal cuando se trata de condiciones complejas de la carretera (como el cambio de carril, la aceleración y la desaceleración). DivedReamer4d presenta modelos mundiales para predecir posibles situaciones futuras y genera nuevos datos de video en perspectiva en varias condiciones de carretera complejas, lo cual es equivalente a proporcionar datos de entrenamiento "compensados por el cerebro" para el modelo de reconstrucción de la escena 4D. Además, el nuevo Módulo de generación de trayectoria (NTGM) genera automáticamente varias trayectorias nuevas que se ajustan a las reglas de tráfico, y utiliza el modelo mundial para generar videos desde las perspectivas correspondientes, lo que permite que el modelo esté a gusto en varias condiciones de carretera complejas. Los resultados experimentales muestran que el efecto de reconstrucción de RiveReamer4D en el tratamiento de condiciones complejas de la carretera es significativamente mejor que el de los métodos tradicionales, la imagen generada es más fidelidad y puede restaurar con precisión la ubicación de las líneas del vehículo y el carril. Se espera que el surgimiento de RiveReamer4D mejore significativamente la eficiencia, la seguridad y la confiabilidad de la investigación y el desarrollo y las pruebas de conducción autónoma.
Pero ambos métodos tienen una debilidad fatal: ¡confían demasiado en los datos de entrenamiento, por ejemplo, solo ha visto un automóvil conduciendo en línea recta, y de repente se dirigió y se dio la vuelta, y estaba confundido. Por lo tanto, cuando se enfrentan a condiciones complejas de la carretera, como el cambio de carril, la aceleración y la desaceleración, son propensos a volcarse.
Para resolver este problema, Jijia Technology ha lanzado un gran asesino: DivedReamer4d esta vez. En resumen, esto es agregar un modelo AI complementario al mundo a la reconstrucción de escenas 4D.
Puede comprender el modelo mundial como un cerebro de IA que puede predecir lo que puede suceder en el futuro en función de los datos existentes. DivedReamer4D utiliza el modelo mundial para generar nuevos datos de video perspectiva en varias condiciones de carretera complejas, lo que equivale a alimentar los datos de entrenamiento "compensados por el cerebro" modelo 4D de la escena, para que pueda ser conocedor y no fallar.
Lo que es aún más increíble es que DivedReamer4d también diseñó especialmente un nuevo módulo de generación de pistas (NTGM). Esto puede generar automáticamente varias trayectorias nuevas que cumplan con las reglas de tráfico, como el cambio de carril, la aceleración, la desaceleración, etc., y luego usar el modelo mundial para generar videos desde las perspectivas correspondientes, lo que es equivalente a pedir un "escolar" para el Modelo de reconstrucción de la escena 4D.
Los resultados experimentales también demuestran la fuerza de BanedReamer4d. Al tratar con condiciones de carretera complejas, su efecto de reconstrucción es significativamente mejor que los métodos tradicionales, la imagen generada es más fidelidad y puede restaurar con precisión la ubicación de las líneas del vehículo y el carril.
En resumen, la aparición de RiveDreamer4d es como lanzar una bomba nuclear en el campo de la reconstrucción de la escena 4D, explotando directamente el techo tecnológico. Con él, la investigación y el desarrollo y las pruebas de la conducción autónoma serán más eficientes, seguros y confiables.
Por supuesto, DriveDreamer4d todavía está en la etapa de investigación y todavía hay muchas cosas que mejorar en el futuro. Pero creo que a medida que la tecnología continúa desarrollándose, se volverá más fuerte y, en última instancia, se convertirá en una parte indispensable del campo de la conducción autónoma.
Dirección en papel: https://arxiv.org/pdf/2410.13571
Página de inicio del proyecto: https://drivedreamer4d.github.io/
Dirección del código: https://github.com/gigaai-research/drivedreamer4d
El surgimiento del marco DivedReamer4D ha llevado avances revolucionarios a la tecnología de reconstrucción de escenas 4D, y vale la pena esperar sus perspectivas de aplicación en el campo de la conducción autónoma. Aunque todavía está en la etapa de investigación, su poderoso desempeño y su amplia prospectos de aplicaciones indican que la tecnología de conducción autónoma se mudará a una nueva altura.