waymo open dataset
December 2023 Update
لقد أصدرنا Waymo Open Dataset علنًا لمساعدة مجتمع البحث في تحقيق تقدم في إدراك الآلة وتكنولوجيا القيادة الذاتية.
تتكون مجموعة بيانات Waymo المفتوحة من مجموعتي بيانات - مجموعة بيانات الإدراك التي تحتوي على بيانات وتسميات مستشعر عالية الدقة لـ 2030 مشهدًا، ومجموعة بيانات الحركة مع مسارات الكائنات والخرائط ثلاثية الأبعاد المقابلة لـ 103354 مشهدًا.
مستودع التعليمات البرمجية هذا (باستثناء مجلد src/waymo_open_dataset/wdl_limited ) مرخص بموجب ترخيص Apache، الإصدار 2.0. الكود الذي يظهر في src/waymo_open_dataset/wdl_limited مرخص بموجب الشروط الواردة فيه. تم ترخيص Waymo Open Dataset نفسها بموجب شروط منفصلة. يرجى زيارة https://waymo.com/open/terms/ للحصول على التفاصيل. الكود الموجود في كل مجلد من المجلدات الفرعية الموجودة في src/waymo_open_dataset/wdl_limited مرخص بموجب (أ) ترخيص حقوق الطبع والنشر المكون من 3 فقرات من BSD و(ب) ترخيص براءة اختراع محدود إضافي. ينطبق كل ترخيص براءة اختراع محدود فقط على التعليمات البرمجية الموجودة ضمن المجلد الفرعي wdl_limited المعني، ويتم ترخيصه للاستخدام فقط مع حالة الاستخدام المنصوص عليها في هذا الترخيص فيما يتعلق بـ Waymo Open Dataset، على النحو المصرح به من قبل اتفاقية ترخيص Waymo Dataset وبما يتوافق معها للاستخدام غير التجاري. راجع wdl_limited/camera/، wdl_limited/camera_segmentation/، wdl_limited/sim_agents_metrics/، على التوالي، للحصول على التفاصيل.
تم تحديث القواعد للسماح بالتدريب (بما في ذلك التدريب المسبق أو التدريب المشترك أو نماذج الضبط الدقيق) باستخدام الأوزان المجمدة المدربة مسبقًا من نماذج مفتوحة المصدر متاحة للجمهور لتقديمها إلى التحديات. أضفنا أيضًا مجموعات جديدة من الحقول (المطلوبة الآن، وإلا سيعرض الخادم خطأً) في البيانات الوصفية للإرسال لتتبع كيفية قيام المشاركين بإنشاء طلباتهم. لقد قمنا بتحديث البرامج التعليمية لتعكس هذا التغيير، وتحقق من الحقول الجديدة في ملفات التقديم الأولية للحركة ووكلاء sim وتدفق الإشغال.
يحتوي هذا التحديث على العديد من التغييرات/الإضافات إلى مجموعات البيانات:
مجموعة بيانات الإدراك (الإصدار 1.4.3 والإصدار 2.0.1):
لقد أجرينا تحسينات على تسميات الحقيقة الأساسية للتجزئة الدلالية ثلاثية الأبعاد، خاصة بالنسبة لفئة سائقي الدراجات النارية.
مجموعة بيانات الحركة (الإصدار 1.2.1):
يوفر الإصدار 1.2.1 WOMD الآن بيانات الكاميرا، بما في ذلك المستشعرات الأمامية، والأمامية اليسرى، والأمامية اليمنى، والجانبية اليسرى، والجانبية اليمنى، والخلفية اليسرى، والخلفية اليمنى، والخلفية. على غرار بيانات Lidar، تغطي بيانات الكاميرا الخاصة بمجموعات التدريب والتحقق والاختبار أول ثانية واحدة من كل نافذة من نوافذ الثواني التسع. بدلاً من إصدار صور الكاميرا الأولية، نقوم بإصدار الرموز المميزة للصور ودمج الصور المستخرجة من نموذج VQ-GAN الذي تم تدريبه مسبقًا.
يحتوي الإصدار الأولي لبيانات كاميرا WOMD على اختلال بين بيانات LiDAR ومدخلات رسم الطريق لبعض الإطارات. يوفر الإصدار 1.2.1 طوابع زمنية جديدة لبيانات الليدار مع مصفوفة تحويل الوضعية المحدثة لكل خطوة زمنية.
نقدم أيضًا التغييرات التالية على الكود الذي يدعم التحديات.
التنبؤ بالحركة:
لقد قمنا بتحسين المنطق وراء مجموعة السلوك المستخدمة في mAP.
وكلاء سيم:
لقد قمنا بتحسين جودة المقاييس الحركية باستخدام تقديرات أكثر سلاسة للسرعات والتسارعات.
لقد أصلحنا حالة حافة لحساب الطرق الوعرة مع تجاوزات.
لقد قمنا بإعادة معايرة التكوين المتري وأوزان المقاييس المركبة.
نقوم بالإبلاغ عن معدلات محاكاة الاصطدام والطرق الوعرة (وليس الاحتمالات).
لقد أصدرنا إصدار v1.6.1 من حزمة النقطة مع إصلاحات لمقاييس WOSAC:
إصلاح الخلل في التحقق من صحة الاصطدام والطرق الوعرة.
تعديل سلوك فحص الاصطدام/الطرق الوعرة عندما يكون غير صالح.
أصدرنا مجموعة بيانات أصول واسعة النطاق تتمحور حول الكائن تحتوي على أكثر من 1.2 مليون صورة وملاحظات بتقنية الليدار لفئتين رئيسيتين (المركبات والمشاة) من مجموعة بيانات الإدراك (الإصدار 2.0.0).
كائنات الإدراك المستخرجة من بيانات أجهزة الاستشعار المتعددة: جميع الكاميرات الخمس والليدار العلوي.
تشتمل ميزات Lidar على تسلسلات سحابة نقطية ثلاثية الأبعاد تدعم إعادة بناء شكل كائن ثلاثي الأبعاد. نحن نقدم أيضًا وضعية مربعة محسنة من خلال تسجيل شكل السحابة النقطية لجميع كائنات السيارة.
تشتمل ميزات الكاميرا على تسلسلات من تصحيحات الكاميرا من الكاميرا most_visible_camera ، وإرجاع الليدار المسقط على الكاميرا المقابلة، ومعلومات أشعة الكاميرا لكل بكسل، والتجزئة البانورامية ثنائية الأبعاد ذات العلامات التلقائية التي تدعم إعادة بناء الكائن NeRF.
تمت إضافة البرنامج التعليمي ورمز الدعم.
يتضمن هذا التحديث الرئيسي تعليمات برمجية داعمة لأربعة تحديات على waymo.com/open، وتحديثات مجموعة البيانات لكل من مجموعات بيانات الإدراك والحركة.
الإصدار 2.0.0 من مجموعة بيانات الإدراك
تم تقديم مجموعة البيانات بتنسيق معياري، مما يمكّن المستخدمين من تنزيل المكونات التي يحتاجون إليها بشكل انتقائي فقط.
يتضمن جميع الميزات الموجودة في الإصدار 1.4.2 من مجموعة بيانات الإدراك باستثناء الخرائط.
تمت إضافة البرنامج التعليمي ورمز الدعم.
الإصدار 1.4.2 من مجموعة بيانات الإدراك
بالنسبة لتسميات تجزئة الفيديو ثنائية الأبعاد، تمت إضافة قناع للإشارة إلى عدد الكاميرات التي تغطي كل بكسل.
تمت إضافة بيانات خريطة ثلاثية الأبعاد كخطوط متعددة أو مضلعات.
الإصدار 1.2.0 من مجموعة بيانات الحركة
تمت إضافة بيانات Lidar لمجموعة التدريب (أول 1 من كل نوافذ 9)، والبرنامج التعليمي المقابل والتعليمات البرمجية الداعمة.
تمت إضافة مداخل الممرات إلى بيانات الخريطة. تم تعديل بعض تقديرات ارتفاع حدود حافة الطريق.
تمت زيادة الحد الأقصى لعدد نقاط الخريطة في tf_examples إلى 30 ألفًا وتقليل العينات إلى 1.0 م لزيادة تغطية الخريطة، وبالتالي فإن التغطية تعادل تغطية مجموعة البيانات بتنسيق السيناريو الأولي. تمت إضافة رمز التحويل من تنسيق السيناريو الأولي إلى تنسيق tf_examples.
تمت إضافة رمز دعم لتحديات Waymo Open Dataset الأربعة لعام 2023
تحدي وكلاء Sim، مع برنامج تعليمي
تحدي التقدير، مع برنامج تعليمي
تحدي تجزئة الفيديو ثنائي الأبعاد، مع برنامج تعليمي
تحدي التنبؤ بالحركة، مع برنامج تعليمي
أصدرنا الإصدار 1.4.1 من مجموعة بيانات الإدراك.
تم تحسين جودة تسميات تجزئة الفيديو البانوبتيكية ثنائية الأبعاد.
أصدرنا الإصدار 1.4.0 من مجموعة بيانات الإدراك.
تمت إضافة تسميات تجزئة الفيديو البانوبتيكية ثنائية الأبعاد والتعليمات البرمجية الداعمة.
تم إصدار برنامج تعليمي لتحدي الكشف عن الكاميرا ثلاثية الأبعاد فقط.
تمت إضافة دعم لحساب 3D-LET-APL في عمليات قياس Python. راجع Compute Metrics في البرنامج التعليمي.
تم إصلاح الخلل في تنفيذ المقاييس لتحدي الإشغال والتدفق.
لقد أصدرنا الإصدار 1.3.2 من مجموعة بيانات الإدراك لتحسين جودة التسميات ودقتها.
تم تحديث تسميات التجزئة الدلالية ثلاثية الأبعاد، لتحسين الاتساق الزمني ولإصلاح النقاط ذات التسمية الخاطئة.
تم تحديث تسميات النقاط الرئيسية ثنائية الأبعاد لإصلاح مشكلات اقتصاص الصور.
تمت إضافة num_top_lidar_points_in_box في dataset.proto لتحدي اكتشاف الكاميرا ثلاثية الأبعاد فقط.
لقد أصدرنا الإصدار 1.3.1 من مجموعة بيانات الإدراك لدعم تحديات 2022 وقمنا بتحديث هذا المستودع وفقًا لذلك.
تمت إضافة المقاييس (LET-3D-APL وLET-3D-AP) لتحدي اكتشاف الكاميرا ثلاثية الأبعاد فقط.
تمت إضافة 80 مقطعًا من صور الكاميرا مدتها 20 ثانية، كاختبار لتحدي اكتشاف الكاميرا ثلاثية الأبعاد فقط.
تمت إضافة سرعة المحور Z والتسارع في البيانات الوصفية الخاصة بملصق Lidar.
تم إصلاح بعض التناقضات في projected_lidar_labels في dataset.proto.
تم تحديث التكوين الافتراضي لتحدي الإشغال والتدفق، والتبديل من نقاط الطريق المجمعة إلى نقاط الطريق ذات العينات الفرعية.
تم تحديث البرنامج التعليمي لتحدي التجزئة الدلالية ثلاثية الأبعاد بتعليمات أكثر تفصيلاً.
أصدرنا الإصدار 1.3.0 من مجموعة بيانات الإدراك وتحديات 2022. لقد قمنا بتحديث هذا المستودع لإضافة دعم للتسميات والتحديات الجديدة.
تمت إضافة تسميات التجزئة الدلالية ثلاثية الأبعاد والبرامج التعليمية والمقاييس.
تمت إضافة تسميات النقاط الرئيسية ثنائية وثلاثية الأبعاد والبرامج التعليمية والمقاييس.
تمت إضافة المراسلات بين التسميات ثنائية الأبعاد (الكاميرا) وثلاثية الأبعاد (ليدار) (للمشاة فقط).
تمت إضافة البرنامج التعليمي والمرافق لتحدي التنبؤ بتدفق الإشغال.
تمت إضافة مقياس mAP الناعم لتحدي التنبؤ بالحركة.
لقد أصدرنا الإصدار 1.1 من مجموعة بيانات الحركة لتشمل معلومات اتصال المسار. لقراءة المزيد عن التفاصيل الفنية، يرجى قراءة Lane_neighbors_and_boundaries.md.
تمت إضافة اتصالات الممرات. يحتوي كل حارة على قائمة بمعرفات الحارة التي تدخل إلى الحارة أو تخرج منها.
تمت إضافة حدود الممرات. يحتوي كل حارة على قائمة بميزات الحدود اليمنى واليسرى المرتبطة بالحارة وجزء المسار الذي تكون فيه الحدود نشطة.
تمت إضافة حارة الجيران. يحتوي كل حارة على قائمة بالممرات المجاورة اليمنى واليسرى. هذه هي الممرات التي يمكن للوكيل تغيير المسار إليها.
تحسين دقة الطابع الزمني.
تحسين قيم علامة التوقف Z.
لقد قمنا بتوسيع مجموعة Waymo Open Dataset لتشمل أيضًا مجموعة بيانات الحركة التي تشتمل على مسارات الكائنات والخرائط ثلاثية الأبعاد المقابلة لأكثر من 100000 مقطع. لقد قمنا بتحديث هذا المستودع لإضافة دعم لمجموعة البيانات الجديدة هذه.
بالإضافة إلى ذلك، أضفنا تعليمات وأمثلة لتحديات الكشف في الوقت الفعلي. يرجى اتباع هذه التعليمات.
لقراءة المزيد حول مجموعة البيانات والوصول إليها، يرجى زيارة https://www.waymo.com/open.
يحتوي مستودع الكود هذا على:
تعريف تنسيق مجموعة البيانات
مقاييس التقييم
وظائف المساعد في TensorFlow للمساعدة في بناء النماذج
@InProceedings{Sun_2020_CVPR، المؤلف = {Sun، Pei وKretzschmar، Henrik وDotiwalla، Xerxes and Chouard، Aurelien and Patnaik، Vijaysai and Tsui، Paul and Guo، James and Zhou، Yin and Chai، Yuning and Caine، Benjamin and Vasudevan، فيجاي وهان ووي ونجيام وجيكوان و تشاو، هانغ وتيموفيف، أليكسي وإتينغر، سكوت وكريفوكون، مكسيم وجاو، إيمي وجوشي، أديتيا وتشانغ، يو وشلينز، جوناثون وتشين، زيفنغ وأنجيلوف، دراغومير}، العنوان = {قابلية التوسع في الإدراك للقيادة الذاتية : Waymo Open Dataset}، عنوان الكتاب = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern الاعتراف (CVPR)}، الشهر = {يونيو}، السنة = {2020} }
@InProceedings{Ettinger_2021_ICCV, Author={Ettinger, Scott and Cheng, Shuyang and Caine, Benjamin and Liu, Chenxi and Zhao, Hang and Pradhan, Sabeek and Chai, Yuning and Sapp, Ben and Qi, Charles R. and Zhou, Yin and يانغ، زوي وشوارد، أورليان وصن، باي ونغيام، جيكوان وفاسوديفان، فيجاي وماكولي، ألكساندر وشلينس، جوناثان وأنجيلوف، دراغومير}، العنوان = {التنبؤ بالحركة التفاعلية واسعة النطاق للقيادة الذاتية: مجموعة بيانات الحركة المفتوحة Waymo}، عنوان الكتاب = وقائع المؤتمر الدولي IEEE/CVF حول رؤية الكمبيوتر (ICCV) }، الشهر={أكتوبر}، العام={2021}، الصفحات={9710-9719} }
@InProceedings{Kan_2024_icra, Author={Chen, Kan and Ge, Runzhou and Qiu, Hang and Ai-Rfou, Rami and Qi, Charles R. and Zhou, Xuanyu and Yang, Zoey and Ettinger, Scott and Sun, Pei and Leng, تشاوتشي ومصطفى، مصطفى وبوغون، إيفان ووانغ، ويوي وتان، مينغشينغ وأنغيلوف، دراغومير}، title={WOMD-LiDAR: المعيار المعياري لمجموعة بيانات الاستشعار الأولية للتنبؤ بالحركة}، الشهر={مايو}، عنوان الكتاب= وقائع مؤتمر IEEE الدولي حول الروبوتات والأتمتة (ICRA)}، السنة={2024} }
يعد الجدول التالي ضروريًا لفهرسة مجموعة البيانات هذه بواسطة محركات البحث مثل Google Dataset Search.
| ملكية | قيمة | ||||||
|---|---|---|---|---|---|---|---|
| اسم | Waymo Open Dataset: An autonomous driving dataset | ||||||
| اسم بديل | Waymo Open Dataset | ||||||
| عنوان URL | https://github.com/waymo-research/waymo-open-dataset | ||||||
| نفس | https://github.com/waymo-research/waymo-open-dataset | ||||||
| نفس | https://www.waymo.com/open | ||||||
| وصف | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
| مزود |
| ||||||
| رخصة |
|
