자율 주행도 "메타 우주"를 플레이합니까? 우수한 기술은 AI를 사용하여 4D 장면을 더 매끄럽게 만듭니다! -AI 기사

Jijia Technology는 최근 DrivedReamer4D라는 새로운 4D 드라이빙 장면 재건 프레임 워크를 발표했습니다. 도로 조건. "문제. DrivedReamer4D는 교육 데이터를 효과적으로 확장하고 세계 모델을 도입하여 모델의 견고성을 크게 향상시킵니다.

전통적인 4D 장면 재건 방법은 주로 NERF와 3DG의 두 가지 주요 학교에 의존합니다. NERF는 신경망을 사용하여 사진을 3D 모델로 렌더링하는 반면 3DG는 3 차원 가우시안 기능을 사용하여 장면의 객체를 시뮬레이션합니다. 그러나 두 방법 모두 교육 데이터에 크게 의존하며 복잡한 도로 조건 (예 : 차선 변경, 가속 및 감속)을 처리 할 때 제대로 성능이 떨어집니다. DrivedReamer4D는 미래의 상황을 예측하고 다양한 복잡한 도로 조건에서 새로운 관점 비디오 데이터를 생성하기 위해 세계 모델을 소개합니다. 이는 4D 장면 재건 모델에 "뇌 보상"훈련 데이터를 제공하는 것과 같습니다. 또한 새로운 궤적 생성 모듈 (NTGM)은 트래픽 규칙을 준수하는 다양한 새로운 궤적을 자동으로 생성하고 세계 모델을 사용하여 해당 관점에서 비디오를 생성하여 다양한 복잡한 도로 조건에서 모델을 편하게 할 수 있습니다. 실험 결과에 따르면 복잡한 도로 조건을 다룰 때 DrivedReamer4D의 재구성 효과가 전통적인 방법보다 훨씬 우수하고 생성 된 이미지는 더 충실하며 차량 및 차선 라인의 위치를 ​​정확하게 복원 할 수 있습니다. DrivedReamer4D의 출현은 자율 주행 연구 개발 및 시험의 효율성, 안전성 및 신뢰성을 크게 향상시킬 것으로 예상됩니다.

그러나 두 방법 모두 치명적인 약점을 가지고 있습니다. 예를 들어 훈련 데이터에 너무 의존합니다. 따라서 차선 변경, 가속 및 감속과 같은 복잡한 도로 조건에 직면 할 때 전복이 발생하기 쉽습니다.

이 문제를 해결하기 위해 Jijia Technology는 이번에는 큰 살인자 인 DrivedReamer4D를 출시했습니다. 요컨대, 이것은 4D 장면의 재구성에 AI 플러그인-세계 모델을 추가하는 것입니다.

기존 데이터를 기반으로 미래에 어떤 일이 발생할 수 있는지 예측할 수있는 AI 뇌로서 세계 모델을 이해할 수 있습니다. DrivedReamer4D는 세계 모델을 사용하여 다양한 복잡한 도로 조건에서 새로운 관점 비디오 데이터를 생성하는데, 이는 4D 장면 재구성 모델 "뇌 보상"훈련 데이터를 공급하여 지식이 풍부하고 더 이상 실패 할 수 없습니다.

더 멋진 점은 DriveReamer4D가 NTGM (New Track Generation Module)을 특별히 설계했다는 것입니다. 이 일은 차선 변경, 가속도, 감속 등과 같은 트래픽 규칙을 충족하는 다양한 새로운 궤적을 자동으로 생성 한 다음 세계 모델을 사용하여 해당 관점에서 비디오를 생성하는 것과 같습니다. 4D 장면 재건 모델.

실험 결과는 또한 DrivedReamer4D의 강도를 증명합니다. 복잡한 도로 조건을 다룰 때, 재구성 효과는 기존의 방법보다 훨씬 우수하며, 생성 된 이미지는 더 충실하며 차량 및 차선 라인의 위치를 ​​정확하게 복원 할 수 있습니다.

요컨대, DrivedReamer4D의 출현은 4D 장면 재건 분야에서 핵폭탄을 던지는 것과 같습니다. 이를 통해 자율 주행의 연구 개발 및 테스트는보다 효율적이고 안전하며 신뢰할 수 있습니다.

물론, DrivedReamer4D는 여전히 연구 단계에 있으며 앞으로 개선해야 할 것이 여전히 많습니다. 그러나 나는 기술이 계속 발전함에 따라 더 강해지고 궁극적으로 자율 주행 분야의 필수 부분이 될 것이라고 믿는다.

종이 주소 : https://arxiv.org/pdf/2410.13571

프로젝트 홈페이지 : https://drivedreamer4d.github.io/

코드 주소 : https://github.com/gigaai-research/drivedreamer4d

DrivedReamer4D 프레임 워크의 출현은 4D 장면 재건 기술에 혁신적인 혁신을 가져 왔으며, 자율 주행 분야의 응용 전망은 기대할 가치가 있습니다. 여전히 연구 단계에 있지만 강력한 성능과 광범위한 응용 전망에 따르면 자율 주행 기술은 새로운 높이로 이동할 것입니다.