waymo open dataset
December 2023 Update
Wir haben den Waymo Open Dataset öffentlich veröffentlicht, um die Forschungsgemeinschaft bei Fortschritten in der Maschinenwahrnehmung und der autonomen Fahrtechnologie zu unterstützen.
Der offene Datensatz von Waymo besteht aus zwei Datensätzen – dem Wahrnehmungsdatensatz mit hochauflösenden Sensordaten und Beschriftungen für 2.030 Szenen und dem Bewegungsdatensatz mit Objekttrajektorien und entsprechenden 3D-Karten für 103.354 Szenen.
Dieses Code-Repository (mit Ausnahme des Ordners src/waymo_open_dataset/wdl_limited ) ist unter der Apache-Lizenz, Version 2.0, lizenziert. Der in src/waymo_open_dataset/wdl_limited angezeigte Code ist gemäß den darin aufgeführten Bedingungen lizenziert. Der Waymo Open Dataset selbst wird unter separaten Bedingungen lizenziert. Weitere Informationen finden Sie unter https://waymo.com/open/terms/. Der Code, der sich in jedem der Unterordner unter src/waymo_open_dataset/wdl_limited befindet, ist unter (a) einer BSD-3-Klausel-Urheberrechtslizenz und (b) einer zusätzlichen eingeschränkten Patentlizenz lizenziert. Jede eingeschränkte Patentlizenz gilt nur für Code unter dem jeweiligen Unterordner wdl_limited und ist nur für die Verwendung mit dem in dieser Lizenz dargelegten Anwendungsfall in Verbindung mit dem Waymo Open Dataset lizenziert, wie durch die Waymo Dataset-Lizenzvereinbarung autorisiert und in Übereinstimmung mit dieser für nicht-kommerzielle Nutzung. Weitere Informationen finden Sie unter wdl_limited/camera/, wdl_limited/camera_segmentation/ bzw. wdl_limited/sim_agents_metrics/.
Die Regeln wurden aktualisiert, um das Training (einschließlich Pre-Training, Co-Training oder Feinabstimmungsmodelle) unter Verwendung eingefrorener, vorab trainierter Gewichte aus öffentlich verfügbaren Open-Source-Modellen für Einreichungen zu den Challenges zu ermöglichen. Wir haben außerdem neue Felder (die jetzt erforderlich sind, sonst gibt der Server einen Fehler zurück) in die Einreichungsmetadaten eingefügt, um zu verfolgen, wie Teilnehmer ihre Einreichungen generiert haben. Wir haben die Tutorials aktualisiert, um diese Änderung widerzuspiegeln. Schauen Sie sich die neuen Felder in den Einreichungsprotodateien für Bewegung, Sim-Agenten und Belegungsfluss an.
Dieses Update enthält mehrere Änderungen/Ergänzungen an den Datensätzen:
Wahrnehmungsdatensatz (v1.4.3 und v2.0.1):
Wir haben Verbesserungen an den Ground-Truth-Labels für die semantische 3D-Segmentierung vorgenommen, insbesondere für die Klasse der Motorradfahrer.
Bewegungsdatensatz (v1.2.1):
Die WOMD-Version 1.2.1 stellt jetzt Kameradaten bereit, einschließlich Sensoren vorne, vorne links, vorne rechts, seitlich links, seitlich rechts, hinten links, hinten rechts und hinten. Ähnlich wie die Lidar-Daten decken die Kameradaten der Trainings-, Validierungs- und Testsätze die erste Sekunde jedes der 9-Sekunden-Fenster ab. Anstatt rohe Kamerabilder freizugeben, geben wir die Bildtokens und die Bildeinbettung frei, die aus einem vorab trainierten VQ-GAN-Modell extrahiert wurden.
Bei der ersten Veröffentlichung der WOMD-Kameradaten kam es bei einigen Bildern zu einer Fehlausrichtung zwischen LiDAR-Daten und Roadgraph-Eingaben. Die Version 1.2.1 bietet neue Zeitstempel für die LIDAR-Daten mit einer aktualisierten Posentransformationsmatrix pro Zeitschritt.
Wir stellen außerdem die folgenden Änderungen am Code zur Verfügung, der die Herausforderungen unterstützt.
Bewegungsvorhersage:
Wir haben die Logik hinter dem für mAP verwendeten Verhaltens-Bucketing verbessert.
Sim-Agenten:
Wir haben die Qualität der kinematischen Metriken verbessert, indem wir glattere Schätzungen von Geschwindigkeiten und Beschleunigungen verwendet haben.
Wir haben einen Randfall für die Offroad-Berechnung mit Überführungen behoben.
Wir haben die Metrikkonfiguration und die Gewichtungen der zusammengesetzten Metriken neu kalibriert.
Wir berichten über simulierte Kollisions- und Offroad-Raten (keine Wahrscheinlichkeiten).
Wir haben Version 1.6.1 des Pip-Pakets mit Korrekturen für die WOSAC-Metriken veröffentlicht:
Behebung eines Fehlers bei der Gültigkeitsprüfung für Kollision und Offroad.
Ändern des Verhaltens der Kollisions-/Offroad-Prüfung, wenn diese ungültig ist.
Wir haben einen umfangreichen objektzentrierten Asset-Datensatz veröffentlicht, der über 1,2 Millionen Bilder und Lidar-Beobachtungen von zwei Hauptkategorien (Fahrzeuge und Fußgänger) aus dem Perception Dataset (v2.0.0) enthält.
Extrahierte Wahrnehmungsobjekte aus Multisensordaten: alle fünf Kameras und das Top-Lidar.
Zu den Lidar-Funktionen gehören 3D-Punktwolkensequenzen, die die Rekonstruktion der 3D-Objektform unterstützen. Darüber hinaus bieten wir eine verfeinerte Box-Pose durch Registrierung der Punktwolkenform für alle Fahrzeugobjekte.
Zu den Kamerafunktionen gehören Sequenzen von Kamera-Patches von der most_visible_camera , projizierte LIDAR-Rückgaben auf der entsprechenden Kamera, Informationen zu Kamerastrahlen pro Pixel und eine automatisch beschriftete panoptische 2D-Segmentierung, die die NeRF-Rekonstruktion von Objekten unterstützt.
Ein Tutorial und unterstützender Code hinzugefügt.
Dieses große Update umfasst unterstützenden Code für vier Herausforderungen unter waymo.com/open sowie Datensatzaktualisierungen für die Wahrnehmungs- und Bewegungsdatensätze.
v2.0.0 des Wahrnehmungsdatensatzes
Einführung des Datensatzes im modularen Format, sodass Benutzer gezielt nur die Komponenten herunterladen können, die sie benötigen.
Enthält alle Funktionen in Version 1.4.2 des Perception Datasets mit Ausnahme von Karten.
Ein Tutorial und unterstützender Code hinzugefügt.
v1.4.2 des Wahrnehmungsdatensatzes
Für die 2D-Video-Panoptik-Segmentierungsbeschriftungen wurde eine Maske hinzugefügt, um die Anzahl der Kameras anzugeben, die jedes Pixel abdecken.
3D-Kartendaten als Polylinien oder Polygone hinzugefügt.
v1.2.0 des Bewegungsdatensatzes
Lidar-Daten für den Trainingssatz (erste 1s jedes 9s-Fensters) sowie das entsprechende Tutorial und den unterstützenden Code hinzugefügt.
Einfahrten zu den Kartendaten hinzugefügt. Einige Schätzungen der Straßenrandbegrenzungshöhe wurden angepasst.
Die maximale Anzahl der Kartenpunkte in tf_examples wurde auf 30.000 erhöht und die Stichprobe auf 1,0 m reduziert, um die Kartenabdeckung zu erhöhen, sodass die Abdeckung der des Datensatzes im Szenario-Proto-Format entspricht. Konvertierungscode vom Szenario-Proto-Format in das tf_examples-Format hinzugefügt.
Unterstützender Code für die vier Waymo Open Dataset Challenges 2023 hinzugefügt
Sim Agents Challenge, mit Tutorial
Pose Estimation Challenge, mit Tutorial
2D Video Panoptic Segmentation Challenge, mit Tutorial
Motion Prediction Challenge, mit Tutorial
Wir haben Version 1.4.1 des Perception-Datensatzes veröffentlicht.
Die Qualität der Panoptik-Segmentierungsbeschriftungen für 2D-Videos wurde verbessert.
Wir haben Version 1.4.0 des Perception-Datensatzes veröffentlicht.
2D-Video-Panoptik-Segmentierungsbeschriftungen und unterstützender Code hinzugefügt.
Veröffentlichung eines Tutorials für die 3D Camera-Only Detection Challenge.
Unterstützung für die Berechnung von 3D-LET-APL in Python-Metrikoperationen hinzugefügt. Siehe Compute Metrics im Tutorial.
Ein Fehler in der Metrikimplementierung für die Occupancy and Flow Challenge wurde behoben.
Wir haben Version 1.3.2 des Perception-Datensatzes veröffentlicht, um die Qualität und Genauigkeit der Beschriftungen zu verbessern.
Aktualisierte semantische 3D-Segmentierungsbeschriftungen für eine bessere zeitliche Konsistenz und zur Korrektur falsch beschrifteter Punkte.
Aktualisierte 2D-Schlüsselpunktbeschriftungen, um Probleme beim Bildzuschneiden zu beheben.
num_top_lidar_points_in_box in dataset.proto für die 3D-Kamera-Only-Detection-Challenge hinzugefügt.
Wir haben Version 1.3.1 des Perception-Datensatzes zur Unterstützung der 2022 Challenges veröffentlicht und dieses Repository entsprechend aktualisiert.
Metriken (LET-3D-APL und LET-3D-AP) für die 3D Camera-Only Detection Challenge hinzugefügt.
80 Segmente von 20-Sekunden-Kamerabildern als Testsatz für die 3D-Kamera-Only-Detection-Challenge hinzugefügt.
Z-Achsen-Geschwindigkeit und -Beschleunigung in den LIDAR-Label-Metadaten hinzugefügt.
Einige Inkonsistenzen in projected_lidar_labels in dataset.proto wurden behoben.
Die Standardkonfiguration für die Occupancy and Flow Challenge wurde aktualisiert und von aggregierten Wegpunkten auf unterabgetastete Wegpunkte umgestellt.
Das Tutorial für die 3D Semantic Segmentation Challenge wurde mit detaillierteren Anweisungen aktualisiert.
Wir haben Version 1.3.0 des Perception-Datensatzes und der Herausforderungen für 2022 veröffentlicht. Wir haben dieses Repository aktualisiert, um Unterstützung für die neuen Labels und die Herausforderungen hinzuzufügen.
Semantische 3D-Segmentierungsbeschriftungen, Tutorial und Metriken hinzugefügt.
2D- und 3D-Schlüsselpunktbeschriftungen, Tutorial und Metriken hinzugefügt.
Korrespondenz zwischen 2D- (Kamera) und 3D- (Lidar) Beschriftungen hinzugefügt (nur Fußgänger).
Tutorial und Dienstprogramme für die Occupancy Flow Prediction Challenge hinzugefügt.
Die Soft-mAP-Metrik für Motion Prediction Challenge hinzugefügt.
Wir haben Version 1.1 des Motion-Datensatzes veröffentlicht, um Informationen zur Spurkonnektivität einzuschließen. Um mehr über die technischen Details zu erfahren, lesen Sie bitte Lane_neighbors_and_boundaries.md.
Spurverbindungen hinzugefügt. Jede Spur verfügt über eine Liste der Spur-IDs, die in die Spur ein- oder ausfahren.
Spurbegrenzungen hinzugefügt. Jede Fahrspur verfügt über eine Liste der linken und rechten Grenzmerkmale, die der Fahrspur und dem Fahrspursegment zugeordnet sind, in dem die Grenze aktiv ist.
Spurnachbarn hinzugefügt. Zu jeder Fahrspur gibt es eine Liste der linken und rechten Nachbarspuren. Dies sind Spuren, auf die ein Agent einen Spurwechsel vornehmen kann.
Verbesserte Zeitstempelgenauigkeit.
Verbesserte Z-Werte für Stoppschilder.
Wir haben den Waymo Open Dataset um einen Bewegungsdatensatz erweitert, der Objekttrajektorien und entsprechende 3D-Karten für über 100.000 Segmente umfasst. Wir haben dieses Repository aktualisiert, um Unterstützung für diesen neuen Datensatz hinzuzufügen.
Darüber hinaus haben wir Anleitungen und Beispiele für die Echtzeiterkennungsherausforderungen hinzugefügt. Bitte befolgen Sie diese Anweisungen.
Um mehr über den Datensatz zu erfahren und darauf zuzugreifen, besuchen Sie bitte https://www.waymo.com/open.
Dieses Code-Repository enthält:
Definition des Datensatzformats
Bewertungsmetriken
Hilfsfunktionen in TensorFlow, die beim Erstellen von Modellen helfen
@InProceedings{Sun_2020_CVPR, Autor = {Sun, Pei und Kretzschmar, Henrik und Dotiwalla, Xerxes und Chouard, Aurelien und Patnaik, Vijaysai und Tsui, Paul und Guo, James und Zhou, Yin und Chai, Yuning und Caine, Benjamin und Vasudevan, Vijay und Han, Wei und Ngiam, Jiquan und Zhao, Hang und Timofeev, Aleksei und Ettinger, Scott und Krivokon, Maxim und Gao, Amy und Joshi, Aditya und Zhang, Yu und Shlens, Jonathon und Chen, Zhifeng und Anguelov, Dragomir}, Titel = {Skalierbarkeit der Wahrnehmung für autonomes Fahren: Waymo Open Dataset}, Buchtitel = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, Monat = {Juni}, Jahr = {2020} }
@InProceedings{Ettinger_2021_ICCV, Autor={Ettinger, Scott und Cheng, Shuyang und Caine, Benjamin und Liu, Chenxi und Zhao, Hang und Pradhan, Sabeek und Chai, Yuning und Sapp, Ben und Qi, Charles R. und Zhou, Yin und Yang, Zoey und Chouard, Aur'elien und Sun, Pei und Ngiam, Jiquan und Vasudevan, Vijay und McCauley, Alexander und Shlens, Jonathon und Anguelov, Dragomir}, Titel={Interaktive Bewegungsvorhersage im großen Maßstab für autonomes Fahren: Der offene Bewegungsdatensatz von Waymo}, Buchtitel= Tagungsband der IEEE/CVF International Conference on Computer Vision (ICCV) }, Monat={Oktober}, Jahr={2021}, Seiten={9710-9719} }
@InProceedings{Kan_2024_icra, Autor={Chen, Kan und Ge, Runzhou und Qiu, Hang und Ai-Rfou, Rami und Qi, Charles R. und Zhou, Xuanyu und Yang, Zoey und Ettinger, Scott und Sun, Pei und Leng, Zhaoqi und Mustafa, Mustafa und Bogun, Ivan und Wang, Weiyue und Tan, Mingxing und Anguelov, Dragomir}, Titel={WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting}, Monat={Mai}, Buchtitel=Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)}, Jahr={2024} }
Die folgende Tabelle ist erforderlich, damit dieser Datensatz von Suchmaschinen wie Google Dataset Search indiziert werden kann.
| Eigentum | Wert | ||||||
|---|---|---|---|---|---|---|---|
| Name | Waymo Open Dataset: An autonomous driving dataset | ||||||
| alternativerName | Waymo Open Dataset | ||||||
| URL | https://github.com/waymo-research/waymo-open-dataset | ||||||
| gleich | https://github.com/waymo-research/waymo-open-dataset | ||||||
| gleich | https://www.waymo.com/open | ||||||
| Beschreibung | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
| Anbieter |
| ||||||
| Lizenz |
|
