أصدرت Jijia Technology مؤخرًا إطارًا جديدًا لإعادة بناء مشهد القيادة 4D يسمى DrivedReamer4D. ظروف الطريق. يقوم DrivedReamer4D بتوسيع بيانات التدريب بشكل فعال ويحسن بشكل كبير من متانة النموذج من خلال إدخال نموذج عالمي.
تعتمد طريقة إعادة بناء المشهد 4D التقليدي بشكل أساسي على مدرستين رئيسيتين: NERF و 3DGS. يستخدم NERF الشبكات العصبية لتقديم الصور في نماذج ثلاثية الأبعاد ، بينما يستخدم 3DGS وظيفة غوسية ثلاثية الأبعاد لمحاكاة الكائنات في المشهد. ومع ذلك ، فإن كلتا الطريقتين تعتمد بشكل كبير على بيانات التدريب والأداء بشكل سيئ عند التعامل مع ظروف الطرق المعقدة (مثل تغيير المسار والتسارع والخلاف). يقدم DrivedReamer4D النماذج العالمية للتنبؤ بالمواقف المستقبلية المحتملة وإنشاء بيانات فيديو منظور جديدة في ظل ظروف الطرق المعقدة المختلفة ، والتي تعادل توفير بيانات تدريب "تعويض الدماغ" لنموذج إعادة بناء المشهد 4D. بالإضافة إلى ذلك ، تقوم وحدة توليد المسار الجديدة (NTGM) تلقائيًا بإنشاء مسارات جديدة مختلفة تتوافق مع قواعد حركة المرور ، وتستخدم النموذج العالمي لإنشاء مقاطع فيديو من المنظورات المقابلة ، مما يسمح للنموذج بالراحة في ظروف الطرق المعقدة المختلفة. تُظهر النتائج التجريبية أن تأثير إعادة بناء DrivedReamer4D في التعامل مع ظروف الطرق المعقدة أفضل بكثير من الأساليب التقليدية ، فإن الصورة التي تم إنشاؤها أكثر إخلاصًا ، ويمكنها استعادة موقع خطوط السيارة والمسار بدقة. من المتوقع أن يحسن ظهور DrivedReamer4D بشكل كبير من كفاءة وسلامة وموثوقية أبحاث القيادة المستقلة وتطويرها واختبارها.
لكن كلتا الطريقتين تتمتعان بضعف مميت: يعتمدون كثيرًا على بيانات التدريب! لذلك ، عند مواجهة ظروف الطرق المعقدة ، مثل تغيير المسار ، والتسارع ، والباطاع ، فإنها عرضة للانقلب.
من أجل حل هذه المشكلة ، أطلقت Jijia Technology قاتلًا كبيرًا - DrivedReamer4D هذه المرة. باختصار ، هذا الشيء هو إضافة مكون منظمة العفو الدولية في العالم لإعادة بناء مشاهد 4D.
يمكنك فهم النموذج العالمي باعتباره دماغ AI يمكنه التنبؤ بما قد يحدث في المستقبل بناءً على البيانات الموجودة. يستخدم DrivedReamer4D النموذج العالمي لإنشاء بيانات فيديو منظور جديدة في ظل ظروف الطرق المعقدة المختلفة ، والتي تعادل تغذية بيانات التدريب على نموذج إعادة بناء المشهد 4D ، بحيث يمكن أن تكون على دراية ولم تعد تفشل.
الأمر الأكثر روعة هو أن DrivedReamer4D صمم أيضًا وحدة توليد مسارات جديدة بشكل خاص (NTGM). يمكن لهذا الشيء تلقائيًا توليد مسارات جديدة مختلفة تلبي قواعد حركة المرور ، مثل تغيير الممرات ، والتسارع ، والتباطؤ ، وما إلى ذلك ، ثم استخدام نموذج العالم لإنشاء مقاطع فيديو من المنظورات المقابلة ، وهو ما يعادل طلب "مدرسة" من أجل نموذج إعادة بناء المشهد 4D.
تثبت النتائج التجريبية أيضًا قوة drivedreamer4d. عند التعامل مع ظروف الطرق المعقدة ، يكون تأثير إعادة الإعمار أفضل بكثير من الأساليب التقليدية ، فإن الصورة التي تم إنشاؤها أكثر دقة ، ويمكنها استعادة موقع خطوط السيارة والمسار بدقة.
باختصار ، يشبه ظهور DrivedReamer4D رمي قنبلة نووية في مجال إعادة بناء المشهد 4D ، مما ينفجر مباشرة سقف التكنولوجيا. مع ذلك ، سيكون البحث والتطوير واختبار القيادة المستقلة أكثر كفاءة وآمنة وموثوقية.
بالطبع ، لا يزال DrivedReamer4D في مرحلة البحث ولا يزال هناك العديد من الأشياء التي يجب تحسينها في المستقبل. لكنني أعتقد أنه مع استمرار تطور التكنولوجيا ، ستصبح أقوى وتصبح في النهاية جزءًا لا غنى عنه من مجال القيادة المستقلة.
عنوان الورق: https://arxiv.org/pdf/2410.13571
الصفحة الرئيسية للمشروع: https://drivedreamer4d.github.io/
عنوان الرمز: https://github.com/gigaai-research/drivedreamer4d
لقد جلب ظهور إطار DriveDreamer4D اختراقات ثورية إلى تقنية إعادة بناء المشهد 4D ، وآفاق تطبيقها في مجال القيادة المستقلة تستحق التطلع إليها. على الرغم من أنها لا تزال في مرحلة البحث ، إلا أن أدائها القوي وآفاق التطبيق الواسعة تشير إلى أن تقنية القيادة المستقلة ستنتقل إلى ارتفاع جديد.