Jijia Technologyは最近、DrivedReamer4Dと呼ばれる新しい4D運転シーンの再構成フレームワークをリリースしました。道路状況。 drivedReamer4Dは、トレーニングデータを効果的に拡張し、世界モデルを導入することでモデルの堅牢性を大幅に改善します。
従来の4Dシーンの再構築方法は、主に2つの主要な学校、NERFと3DGSに依存しています。 Nerfはニューラルネットワークを使用して写真を3Dモデルにレンダリングし、3DGSは3次元ガウス関数を使用してシーン内のオブジェクトをシミュレートします。ただし、両方の方法は、複雑な道路状況（車線の変化、加速、減速など）に対処する際に、トレーニングデータに大きく依存し、パフォーマンスが低下します。 DrivedReamer4Dは、将来の可能性のある状況を予測するための世界モデルを導入し、さまざまな複雑な道路状況で新しい視点ビデオデータを生成します。これは、4Dシーン再構成モデルの「脳補償」トレーニングデータを提供することに相当します。さらに、新しい軌道生成モジュール（NTGM）は、トラフィックルールに準拠するさまざまな新しい軌跡を自動的に生成し、世界モデルを使用して対応する観点からビデオを生成し、さまざまな複雑な道路状況でモデルを安らぎやすくします。実験結果は、複雑な道路状況を扱う際のdrivedReamer4Dの再構成効果が従来の方法のそれよりも大幅に優れていることを示しています。 drivedReamer4Dの出現は、自律運転の研究開発とテストの効率、安全性、信頼性を大幅に改善すると予想されます。
しかし、どちらの方法にも致命的な弱点があります。たとえば、トレーニングデータに依存しています。したがって、車線の変化、加速、減速などの複雑な道路状況に直面する場合、それらは覆される傾向があります。
この問題を解決するために、Jijia Technologyは今回、Big Killer -DrivedReamer4Dを立ち上げました。要するに、このことは、4Dシーンの再構築にAIプラグインモデルを追加することです。
世界モデルは、既存のデータに基づいて将来何が起こるかを予測できるAI脳として理解できます。 DrivedReamer4Dは、世界モデルを使用して、さまざまな複雑な道路状況で新しい視点ビデオデータを生成します。これは、4Dシーン再構成モデル「脳補償」トレーニングデータに供給することに相当します。
さらに素晴らしいのは、DrivedReamer4Dが新しいトラック生成モジュール（NTGM）を特別に設計したことです。このことは、車線の変更、加速、減速などのトラフィックルールを満たすさまざまな新しい軌跡を自動的に生成し、それに対応する視点からビデオを生成するために世界モデルを使用します。 4Dシーンの再構築モデルを使用してください。
実験結果は、drivedReamer4Dの強度も証明しています。複雑な道路状況を扱う場合、その再構築効果は従来の方法よりも大幅に優れており、生成された画像はより忠実であり、車両と車線の場所を正確に復元できます。
要するに、DrivedReamer4Dの出現は、4Dシーンの再構築の分野に核爆弾を投げて、テクノロジーの天井を直接爆発させるようなものです。それに伴い、自律運転の研究開発とテストは、より効率的で安全で信頼性が高くなります。
もちろん、DriedReamer4Dはまだ研究段階にあり、将来改善すべきことはまだたくさんあります。しかし、テクノロジーが発展し続けるにつれて、それはより強くなり、最終的には自律運転の分野の不可欠な部分になると信じています。
紙の住所：https：//arxiv.org/pdf/2410.13571
プロジェクトホームページ：https：//drivedreamer4d.github.io/
コードアドレス：https：//github.com/gigaai-research/drivedreamer4d
drivedReamer4Dフレームワークの出現により、革新的なブレークスルーが4Dシーン再建技術にもたらされ、自律運転の分野でのアプリケーションの見通しは楽しみにしています。それはまだ研究段階にありますが、その強力なパフォーマンスと幅広いアプリケーションの見通しは、自律的な運転技術が新しい高さに移行することを示しています。