waymo open dataset
December 2023 Update
Nous avons rendu public l'ensemble de données ouvertes Waymo pour aider la communauté des chercheurs à faire des progrès dans la perception des machines et la technologie de conduite autonome.
L'ensemble de données ouvert Waymo est composé de deux ensembles de données : l'ensemble de données Perception avec des données de capteurs haute résolution et des étiquettes pour 2 030 scènes, et l'ensemble de données Motion avec trajectoires d'objets et cartes 3D correspondantes pour 103 354 scènes.
Ce référentiel de code (à l'exclusion du dossier src/waymo_open_dataset/wdl_limited ) est sous licence Apache, version 2.0. Le code apparaissant dans src/waymo_open_dataset/wdl_limited est sous licence selon les termes qui y figurent. Le Waymo Open Dataset lui-même est sous licence selon des conditions distinctes. Veuillez visiter https://waymo.com/open/terms/ pour plus de détails. Le code situé dans chacun des sous-dossiers situés dans src/waymo_open_dataset/wdl_limited est sous licence (a) une licence de droit d'auteur BSD à 3 clauses et (b) une licence de brevet limitée supplémentaire. Chaque licence de brevet limitée s'applique uniquement au code du sous-dossier wdl_limited respectif et est concédée sous licence pour une utilisation uniquement avec le cas d'utilisation décrit dans cette licence en relation avec l'ensemble de données ouvert Waymo, tel qu'autorisé et conformément au contrat de licence de l'ensemble de données Waymo. pour un usage non commercial. Voir wdl_limited/camera/, wdl_limited/camera_segmentation/, wdl_limited/sim_agents_metrics/, respectivement, pour plus de détails.
Les règles ont été mises à jour pour permettre la formation (y compris les modèles de pré-formation, de co-formation ou de réglage fin) à l'aide de poids gelés et pré-entraînés à partir de modèles open source accessibles au public pour les soumissions aux défis. Nous avons également ajouté de nouveaux ensembles de champs (qui sont désormais obligatoires, sinon le serveur renverra une erreur) dans les métadonnées de soumission pour suivre la manière dont les participants ont généré leurs soumissions. Nous avons mis à jour les didacticiels pour refléter ce changement. Consultez les nouveaux champs dans les fichiers prototypes de soumission pour les mouvements, les agents de simulation et le flux d'occupation.
Cette mise à jour contient plusieurs modifications/ajouts aux ensembles de données :
Ensemble de données de perception (v1.4.3 et v2.0.1) :
Nous avons apporté des améliorations aux étiquettes de vérité terrain de segmentation sémantique 3D, en particulier pour la classe des motocyclistes.
Ensemble de données de mouvement (v1.2.1) :
La version 1.2.1 WOMD fournit désormais des données de caméra, notamment des capteurs avant, avant gauche, avant droit, latéral gauche, latéral droit, arrière gauche, arrière droit et arrière. Semblables aux données Lidar, les données de la caméra des ensembles de formation, de validation et de test couvrent la première seconde de chacune des 9 secondes fenêtres. Au lieu de publier des images brutes de caméra, nous publions les jetons d'image et l'intégration d'images extraits d'un modèle VQ-GAN pré-entraîné.
La version initiale des données de la caméra WOMD contenait un désalignement entre les données LiDAR et les entrées du roadgraph pour certaines images. La version 1.2.1 fournit de nouveaux horodatages pour les données lidar avec une matrice de transformation de pose mise à jour par pas de temps.
Nous apportons également les modifications suivantes au code prenant en charge les défis.
Prédiction de mouvement :
Nous avons amélioré la logique derrière le regroupement de comportements utilisé pour mAP.
Agents Sim :
Nous avons amélioré la qualité des métriques cinématiques en utilisant des estimations plus fluides des vitesses et des accélérations.
Nous avons corrigé un cas limite pour le calcul tout-terrain avec dépassements.
Nous avons recalibré la configuration métrique et les poids des métriques composites.
Nous rapportons des taux de collisions et de tout-terrain simulés (et non des probabilités).
Nous avons publié la version v1.6.1 du package pip avec des correctifs pour les métriques WOSAC :
Correction d'un bug dans la vérification de validité pour les collisions et tout-terrain.
Modification du comportement de la vérification des collisions/tout-terrain lorsqu'elle est invalide.
Nous avons publié un ensemble de données d'actifs centrés sur les objets à grande échelle contenant plus de 1,2 million d'images et d'observations lidar de deux catégories principales (véhicules et piétons) à partir de l'ensemble de données de perception (v2.0.0).
Objets de perception extraits des données multi-capteurs : les cinq caméras et le lidar supérieur.
Les fonctionnalités Lidar incluent des séquences de nuages de points 3D qui prennent en charge la reconstruction de la forme des objets 3D. Nous proposons également une pose de boîte raffinée grâce à l'enregistrement de la forme d'un nuage de points pour tous les objets du véhicule.
Les fonctionnalités de la caméra incluent des séquences de patchs de caméra de most_visible_camera , des retours lidar projetés sur la caméra correspondante, des informations sur les rayons de caméra par pixel et une segmentation panoptique 2D auto-étiquetée qui prend en charge la reconstruction NeRF d'objet.
Ajout d'un didacticiel et d'un code de support.
Cette mise à jour majeure comprend la prise en charge du code pour quatre défis sur waymo.com/open, ainsi que des mises à jour des ensembles de données pour les ensembles de données de perception et de mouvement.
v2.0.0 de l'ensemble de données de perception
Introduction de l'ensemble de données au format modulaire, permettant aux utilisateurs de télécharger de manière sélective uniquement les composants dont ils ont besoin.
Inclut toutes les fonctionnalités de la version 1.4.2 de l'ensemble de données Perception, à l'exception des cartes.
Ajout d'un didacticiel et d'un code de support.
v1.4.2 de l'ensemble de données de perception
Pour les étiquettes de segmentation panoptique vidéo 2D, ajout d'un masque pour indiquer le nombre de caméras couvrant chaque pixel.
Ajout de données cartographiques 3D sous forme de polylignes ou de polygones.
v1.2.0 de l'ensemble de données de mouvement
Ajout des données Lidar pour l'ensemble de formation (premiers 1 de chaque fenêtre de 9), ainsi que du didacticiel correspondant et du code de support.
Ajout des entrées d'allée aux données cartographiques. Ajustement de certaines estimations de hauteur des limites de route.
Augmentation du nombre maximum de points de carte dans tf_examples à 30 000 et réduction de l'échantillonnage à 1,0 m pour augmenter la couverture cartographique, de sorte que la couverture égalise celle de l'ensemble de données au format prototype de scénario. Ajout du code de conversion du format proto de scénario au format tf_examples.
Ajout du code de support pour les quatre Waymo Open Dataset Challenges 2023
Sim Agents Challenge, avec un tutoriel
Défi d'estimation de pose, avec un tutoriel
Défi de segmentation panoptique vidéo 2D, avec un tutoriel
Défi de prédiction de mouvement, avec un tutoriel
Nous avons publié la version 1.4.1 de l'ensemble de données Perception.
Amélioration de la qualité des étiquettes de segmentation panoptique vidéo 2D.
Nous avons publié la version 1.4.0 de l'ensemble de données Perception.
Ajout d'étiquettes de segmentation panoptique vidéo 2D et du code de support.
Publication d'un didacticiel pour le défi de détection par caméra 3D uniquement.
Ajout de la prise en charge du calcul 3D-LET-APL dans les opérations de métriques Python. Consultez Compute Metrics dans le didacticiel.
Correction d'un bug dans l'implémentation des métriques pour le défi d'occupation et de flux.
Nous avons publié la version 1.3.2 de l'ensemble de données Perception pour améliorer la qualité et la précision des étiquettes.
Étiquettes de segmentation sémantique 3D mises à jour, pour une meilleure cohérence temporelle et pour corriger les points mal étiquetés.
Mise à jour des étiquettes de points clés 2D pour résoudre les problèmes de recadrage d'image.
Ajout num_top_lidar_points_in_box dans dataset.proto pour le défi de détection de caméra 3D uniquement.
Nous avons publié la version 1.3.1 de l'ensemble de données Perception pour prendre en charge les défis 2022 et avons mis à jour ce référentiel en conséquence.
Ajout de métriques (LET-3D-APL et LET-3D-AP) pour le défi de détection par caméra 3D uniquement.
Ajout de 80 segments d'images de caméra de 20 secondes, comme ensemble de test pour le défi de détection de caméra 3D uniquement.
Ajout de la vitesse et de l'accélération de l'axe z dans les métadonnées des étiquettes lidar.
Correction de quelques incohérences dans projected_lidar_labels dans dataset.proto.
Mise à jour de la configuration par défaut pour le défi d'occupation et de flux, en passant des points de cheminement agrégés aux points de cheminement sous-échantillonnés.
Mise à jour du didacticiel pour le défi de segmentation sémantique 3D avec des instructions plus détaillées.
Nous avons publié la version 1.3.0 de l'ensemble de données Perception et les défis 2022. Nous avons mis à jour ce référentiel pour ajouter la prise en charge des nouveaux labels et des défis.
Ajout d'étiquettes de segmentation sémantique 3D, d'un didacticiel et de métriques.
Ajout d'étiquettes de points clés 2D et 3D, d'un didacticiel et de métriques.
Ajout d'une correspondance entre les étiquettes 2D (caméra) et 3D (lidar) (piéton uniquement).
Ajout d'un didacticiel et d'utilitaires pour le défi de prévision du flux d'occupation.
Ajout de la métrique soft mAP pour Motion Prediction Challenge.
Nous avons publié la version 1.1 de l'ensemble de données Motion pour inclure des informations sur la connectivité des voies. Pour en savoir plus sur les détails techniques, veuillez lire lane_neighbors_and_boundaries.md.
Connexions de voies ajoutées. Chaque voie possède une liste d'identifiants de voie qui entrent ou sortent de la voie.
Ajout de limites de voies. Chaque voie comporte une liste d'entités de limite gauche et droite associées à la voie et au segment de voie où la limite est active.
Ajout de voisins de voie. Chaque voie possède une liste de voies voisines gauche et droite. Il s'agit de voies dans lesquelles un agent peut effectuer un changement de voie.
Précision d’horodatage améliorée.
Valeurs Z améliorées du panneau d’arrêt.
Nous avons élargi l'ensemble de données ouvert Waymo pour inclure également un ensemble de données de mouvement comprenant les trajectoires d'objets et les cartes 3D correspondantes pour plus de 100 000 segments. Nous avons mis à jour ce référentiel pour ajouter la prise en charge de ce nouvel ensemble de données.
De plus, nous avons ajouté des instructions et des exemples pour les défis de détection en temps réel. Veuillez suivre ces instructions.
Pour en savoir plus sur l'ensemble de données et y accéder, veuillez visiter https://www.waymo.com/open.
Ce référentiel de code contient :
Définition du format du jeu de données
Paramètres d'évaluation
Fonctions d'assistance dans TensorFlow pour aider à créer des modèles
@InProceedings{Sun_2020_CVPR, author = {Sun, Pei et Kretzschmar, Henrik et Dotiwalla, Xerxès et Chouard, Aurélien et Patnaik, Vijaysai et Tsui, Paul et Guo, James et Zhou, Yin et Chai, Yuning et Caine, Benjamin et Vasudevan, Vijay et Han, Wei et Ngiam, Jiquan et Zhao, Hang et Timofeev, Aleksei et Ettinger, Scott et Krivokon, Maxim et Gao, Amy et Joshi, Aditya et Zhang, Yu et Shlens, Jonathon et Chen, Zhifeng et Anguelov, Dragomir}, title = {Évolutivité de la perception pour la conduite autonome : ensemble de données ouvertes Waymo }, titre du livre = {Actes de la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes (CVPR)}, mois = {Juin}, année = {2020} }
@InProceedings{Ettinger_2021_ICCV, author={Ettinger, Scott et Cheng, Shuyang et Caine, Benjamin et Liu, Chenxi et Zhao, Hang et Pradhan, Sabeek et Chai, Yuning et Sapp, Ben et Qi, Charles R. et Zhou, Yin et Yang, Zoey et Chouard, Aur'elien et Sun, Pei et Ngiam, Jiquan et Vasudevan, Vijay et McCauley, Alexander et Shlens, Jonathon et Anguelov, Dragomir}, title={Prévision de mouvement interactive à grande échelle pour la conduite autonome : l'ensemble de données Waymo Open Motion}, booktitle= Actes de la conférence internationale IEEE/CVF sur la vision par ordinateur (ICCV)}, mois={octobre}, année={2021}, pages={9710-9719} }
@InProceedings{Kan_2024_icra, author={Chen, Kan et Ge, Runzhou et Qiu, Hang et Ai-Rfou, Rami et Qi, Charles R. et Zhou, Xuanyu et Yang, Zoey et Ettinger, Scott et Sun, Pei et Leng, Zhaoqi et Mustafa, Mustafa et Bogun, Ivan et Wang, Weiyue et Tan, Mingxing et Anguelov, Dragomir}, title={WOMD-LiDAR : Benchmark d'ensembles de données de capteurs bruts pour la prévision de mouvement}, mois={Mai}, booktitle= Actes de la Conférence internationale de l'IEEE sur la robotique et l'automatisation (ICRA)}, année={2024} }
Le tableau suivant est nécessaire pour que cet ensemble de données soit indexé par les moteurs de recherche tels que Google Dataset Search.
| propriété | valeur | ||||||
|---|---|---|---|---|---|---|---|
| nom | Waymo Open Dataset: An autonomous driving dataset | ||||||
| nom alternatif | Waymo Open Dataset | ||||||
| URL | https://github.com/waymo-research/waymo-open-dataset | ||||||
| pareil | https://github.com/waymo-research/waymo-open-dataset | ||||||
| pareil | https://www.waymo.com/open | ||||||
| description | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
| fournisseur |
| ||||||
| licence |
|
