waymo open dataset
December 2023 Update
Hemos lanzado públicamente el conjunto de datos abiertos Waymo para ayudar a la comunidad de investigación a lograr avances en la percepción de las máquinas y la tecnología de conducción autónoma.
El conjunto de datos abierto de Waymo se compone de dos conjuntos de datos: el conjunto de datos de percepción con datos de sensores de alta resolución y etiquetas para 2030 escenas, y el conjunto de datos de movimiento con trayectorias de objetos y mapas 3D correspondientes para 103,354 escenas.
Este repositorio de código (excluyendo la carpeta src/waymo_open_dataset/wdl_limited ) tiene la licencia Apache, versión 2.0. El código que aparece en src/waymo_open_dataset/wdl_limited tiene licencia según los términos que aparecen allí. El propio Waymo Open Dataset tiene licencia bajo términos separados. Visite https://waymo.com/open/terms/ para obtener más detalles. El código ubicado en cada una de las subcarpetas ubicadas en src/waymo_open_dataset/wdl_limited tiene la licencia de (a) una licencia de derechos de autor BSD de 3 cláusulas y (b) una licencia de patente limitada adicional. Cada licencia de patente limitada se aplica únicamente al código de la subcarpeta wdl_limited respectiva y se licencia para su uso únicamente con el caso de uso establecido en dicha licencia en relación con Waymo Open Dataset, según lo autorizado y de conformidad con el Acuerdo de licencia de Waymo Dataset. para uso no comercial. Consulte wdl_limited/camera/, wdl_limited/camera_segmentation/, wdl_limited/sim_agents_metrics/, respectivamente, para obtener más detalles.
Las Reglas se han actualizado para permitir el entrenamiento (incluido el entrenamiento previo, el entrenamiento conjunto o los modelos de ajuste) utilizando pesos congelados y previamente entrenados de modelos de código abierto disponibles públicamente para presentaciones a los Desafíos. También agregamos nuevos conjuntos de campos (que ahora son obligatorios o el servidor devolverá un error) en los metadatos de envío para realizar un seguimiento de cómo los participantes generaron sus envíos. Actualizamos los tutoriales para reflejar este cambio; consulte los nuevos campos en los archivos de protocolo de envío para movimiento, agentes de simulación y flujo de ocupación.
Esta actualización contiene varios cambios/adiciones a los conjuntos de datos:
Conjunto de datos de percepción (v1.4.3 y v2.0.1):
Realizamos mejoras en las etiquetas de verdad del terreno de segmentación semántica 3D, especialmente para la clase de motociclistas.
Conjunto de datos de movimiento (v1.2.1):
La versión 1.2.1 WOMD ahora proporciona datos de la cámara, incluidos los sensores frontal, frontal izquierdo, frontal derecho, lateral izquierdo, lateral derecho, trasero izquierdo, trasero derecho y trasero. De manera similar a los datos Lidar, los datos de la cámara de los conjuntos de entrenamiento, validación y prueba cubren el primer segundo de cada una de las ventanas de 9 segundos. En lugar de publicar imágenes de cámara sin procesar, publicamos los tokens de imagen y la incrustación de imágenes extraídas de un modelo VQ-GAN previamente entrenado.
La publicación inicial de los datos de la cámara WOMD contenía desalineación entre los datos LiDAR y las entradas del gráfico de ruta para algunos fotogramas. La versión 1.2.1 proporciona nuevas marcas de tiempo para los datos LIDAR con una matriz de transformación de pose actualizada por paso de tiempo.
También proporcionamos los siguientes cambios en el código que respalda los desafíos.
Predicción de movimiento:
Hemos mejorado la lógica detrás del agrupamiento de comportamiento utilizado para mAP.
Agentes Sim:
Hemos mejorado la calidad de las métricas cinemáticas mediante el uso de estimaciones más suaves de velocidades y aceleraciones.
Hemos solucionado un caso límite para el cálculo todoterreno con pasos elevados.
Hemos recalibrado la configuración métrica y los pesos de las métricas compuestas.
Informamos tasas de colisiones y todoterreno simuladas (no probabilidades).
Lanzamos la versión v1.6.1 del paquete pip con correcciones para las métricas de WOSAC:
Se corrigió un error en la verificación de validez para colisiones y todoterreno.
Modificar el comportamiento de la verificación de colisión/todoterreno cuando no es válido.
Lanzamos un conjunto de datos de activos centrado en objetos a gran escala que contiene más de 1,2 millones de imágenes y observaciones LIDAR de dos categorías principales (vehículos y peatones) del conjunto de datos de percepción (v2.0.0).
Objetos de percepción extraídos de datos multisensor: las cinco cámaras y el lidar superior.
Las funciones de Lidar incluyen secuencias de nubes de puntos 3D que admiten la reconstrucción de formas de objetos 3D. Además, proporcionamos una pose de caja refinada mediante el registro de la forma de la nube de puntos para todos los objetos del vehículo.
Las características de la cámara incluyen secuencias de parches de cámara de most_visible_camera , retornos lidar proyectados en la cámara correspondiente, información de rayos de cámara por píxel y segmentación panóptica 2D autoetiquetada que admite la reconstrucción NeRF de objetos.
Se agregó un tutorial y código de soporte.
Esta actualización importante incluye código de soporte para cuatro desafíos en waymo.com/open y actualizaciones de conjuntos de datos para los conjuntos de datos de percepción y movimiento.
v2.0.0 del conjunto de datos de percepción
Se introdujo el conjunto de datos en formato modular, lo que permite a los usuarios descargar de forma selectiva solo los componentes que necesitan.
Incluye todas las funciones de la versión 1.4.2 del conjunto de datos de percepción, excepto los mapas.
Se agregó un tutorial y código de soporte.
v1.4.2 del conjunto de datos de percepción
Para las etiquetas de segmentación panóptica de video 2D, se agregó una máscara para indicar la cantidad de cámaras que cubren cada píxel.
Se agregaron datos de mapas 3D como polilíneas o polígonos.
v1.2.0 del conjunto de datos de movimiento
Se agregaron datos Lidar para el conjunto de entrenamiento (primeros 1 de cada 9 ventanas) y el tutorial y el código de soporte correspondientes.
Se agregaron entradas de acceso a los datos del mapa. Se ajustaron algunas estimaciones de altura de los límites del borde de la carretera.
Se aumentó la cantidad máxima de puntos del mapa en tf_examples a 30k y se redujo el muestreo a 1,0 m para aumentar la cobertura del mapa, de modo que la cobertura iguale la del conjunto de datos en formato de prototipo de escenario. Se agregó código de conversión del formato proto de escenario al formato tf_examples.
Se agregó código de soporte para los cuatro desafíos de conjuntos de datos abiertos de Waymo de 2023.
Desafío Sim Agents, con tutorial
Pose Estimation Challenge, con un tutorial
Desafío de segmentación panóptica de vídeo 2D, con un tutorial
Desafío de predicción de movimiento, con un tutorial
Lanzamos la versión 1.4.1 del conjunto de datos de Perception.
Se mejoró la calidad de las etiquetas de segmentación panóptica de video 2D.
Lanzamos la versión 1.4.0 del conjunto de datos de Perception.
Se agregaron etiquetas de segmentación panóptica de video 2D y código de soporte.
Se lanzó un tutorial para el desafío de detección solo con cámara 3D.
Se agregó soporte para calcular 3D-LET-APL en operaciones de métricas de Python. Consulte Compute Metrics en el tutorial.
Se corrigió un error en la implementación de métricas para el Desafío de Ocupación y Flujo.
Lanzamos la versión 1.3.2 del conjunto de datos de Perception para mejorar la calidad y precisión de las etiquetas.
Etiquetas de segmentación semántica 3D actualizadas para una mejor coherencia temporal y para corregir puntos mal etiquetados.
Etiquetas de puntos clave 2D actualizadas para solucionar problemas de recorte de imágenes.
Se agregó num_top_lidar_points_in_box en dataset.proto para el desafío de detección solo con cámara 3D.
Lanzamos la versión 1.3.1 del conjunto de datos de Percepción para respaldar los desafíos de 2022 y actualizamos este repositorio en consecuencia.
Se agregaron métricas (LET-3D-APL y LET-3D-AP) para el desafío de detección solo con cámara 3D.
Se agregaron 80 segmentos de imágenes de cámara de 20 segundos, como conjunto de prueba para el Desafío de detección solo con cámara 3D.
Se agregó velocidad y aceleración del eje z en los metadatos de etiquetas lidar.
Se corrigieron algunas inconsistencias en projected_lidar_labels en dataset.proto.
Se actualizó la configuración predeterminada para el Desafío de ocupación y flujo, cambiando de puntos de ruta agregados a puntos de ruta submuestreados.
Se actualizó el tutorial para el Desafío de segmentación semántica 3D con instrucciones más detalladas.
Lanzamos la versión 1.3.0 del conjunto de datos de Percepción y los desafíos de 2022. Hemos actualizado este repositorio para agregar soporte para las nuevas etiquetas y los desafíos.
Se agregaron etiquetas de segmentación semántica 3D, tutoriales y métricas.
Se agregaron etiquetas de puntos clave 2D y 3D, tutoriales y métricas.
Se agregó correspondencia entre etiquetas 2D (cámara) y 3D (lidar) (solo peatones).
Se agregaron tutoriales y utilidades para el desafío de predicción del flujo de ocupación.
Se agregó la métrica de mapa suave para Motion Prediction Challenge.
Lanzamos la versión 1.1 del conjunto de datos de Motion para incluir información de conectividad de carriles. Para leer más sobre los detalles técnicos, lea lane_neighbors_and_boundaries.md.
Se agregaron conexiones de carril. Cada carril tiene una lista de ID de carril que entran o salen del carril.
Se agregaron límites de carril. Cada carril tiene una lista de entidades de límites izquierdo y derecho asociadas con el carril y el segmento del carril donde el límite está activo.
Se agregaron vecinos de carril. Cada carril tiene una lista de carriles vecinos izquierdo y derecho. Estos son carriles en los que un agente puede cambiar de carril.
Precisión de marca de tiempo mejorada.
Valores Z de la señal de stop mejorados.
Ampliamos el conjunto de datos abierto de Waymo para incluir también un conjunto de datos de movimiento que comprende trayectorias de objetos y mapas 3D correspondientes para más de 100 000 segmentos. Hemos actualizado este repositorio para agregar soporte para este nuevo conjunto de datos.
Además, agregamos instrucciones y ejemplos para los desafíos de detección en tiempo real. Siga estas instrucciones.
Para leer más sobre el conjunto de datos y acceder a él, visite https://www.waymo.com/open.
Este repositorio de código contiene:
Definición del formato del conjunto de datos.
Métricas de evaluación
Funciones auxiliares en TensorFlow para ayudar con la construcción de modelos
@InProceedings{Sun_2020_CVPR, autor = {Sun, Pei y Kretzschmar, Henrik y Dotiwalla, Xerxes y Chouard, Aurelien y Patnaik, Vijaysai y Tsui, Paul y Guo, James y Zhou, Yin y Chai, Yuning y Caine, Benjamin y Vasudevan, Vijay y Han, Wei y Ngiam, Jiquan y Zhao, Hang y Timofeev, Aleksei y Ettinger, Scott y Krivokon, Maxim y Gao, Amy y Joshi, Aditya y Zhang, Yu y Shlens, Jonathon y Chen, Zhifeng y Anguelov, Dragomir}, título = {Escalabilidad en percepción para la conducción autónoma: conjunto de datos abiertos de Waymo }, título del libro = {Actas de la Conferencia IEEE/CVF sobre visión por computadora y reconocimiento de patrones (CVPR)}, mes = {junio}, año = {2020} }
@InProceedings{Ettinger_2021_ICCV, autor={Ettinger, Scott y Cheng, Shuyang y Caine, Benjamin y Liu, Chenxi y Zhao, Hang y Pradhan, Sabeek y Chai, Yuning y Sapp, Ben y Qi, Charles R. y Zhou, Yin y Yang, Zoey y Chouard, Aur'elien y Sun, Pei y Ngiam, Jiquan y Vasudevan, Vijay y McCauley, Alexander y Shlens, Jonathon y Anguelov, Dragomir}, title={Pronóstico de movimiento interactivo a gran escala para la conducción autónoma: el conjunto de datos de movimiento abierto de Waymo}, booktitle= Actas de la Conferencia Internacional IEEE/CVF sobre Visión por Computadora (ICCV)}, mes={octubre}, año={2021}, páginas={9710-9719} }
@InProceedings{Kan_2024_icra, autor={Chen, Kan y Ge, Runzhou y Qiu, Hang y Ai-Rfou, Rami y Qi, Charles R. y Zhou, Xuanyu y Yang, Zoey y Ettinger, Scott y Sun, Pei y Leng, Zhaoqi y Mustafa, Mustafa y Bogun, Ivan y Wang, Weiyue y Tan, Mingxing y Anguelov, Dragomir}, title={WOMD-LiDAR: Benchmark de conjunto de datos de sensores sin procesar para pronóstico de movimiento}, mes={mayo}, booktitle= Actas de la Conferencia Internacional IEEE sobre Robótica y Automatización (ICRA)}, año={2024} }
La siguiente tabla es necesaria para que este conjunto de datos sea indexado por motores de búsqueda como Google Dataset Search.
| propiedad | valor | ||||||
|---|---|---|---|---|---|---|---|
| nombre | Waymo Open Dataset: An autonomous driving dataset | ||||||
| Nombre alternativo | Waymo Open Dataset | ||||||
| URL | https://github.com/waymo-research/waymo-open-dataset | ||||||
| igual que | https://github.com/waymo-research/waymo-open-dataset | ||||||
| igual que | https://www.waymo.com/open | ||||||
| descripción | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
| proveedor |
| ||||||
| licencia |
|
