Download do conjunto de dados aberto waymo - download do código-fonte do conjunto de dados aberto waymo

conjunto de dados aberto waymo

Outro código-fonte

December 2023 Update

Baixar

Conjunto de dados aberto Waymo

Lançamos publicamente o Waymo Open Dataset para ajudar a comunidade de pesquisa a fazer avanços na percepção da máquina e na tecnologia de direção autônoma.

O Waymo Open Dataset é composto por dois conjuntos de dados - o conjunto de dados Perception com dados de sensores de alta resolução e rótulos para 2.030 cenas, e o conjunto de dados Motion com trajetórias de objetos e mapas 3D correspondentes para 103.354 cenas.

Licença

Este repositório de código (excluindo a pasta src/waymo_open_dataset/wdl_limited ) está licenciado sob a Licença Apache, Versão 2.0. O código que aparece em src/waymo_open_dataset/wdl_limited é licenciado sob os termos nele mencionados. O próprio Waymo Open Dataset é licenciado sob termos separados. Visite https://waymo.com/open/terms/ para obter detalhes. O código localizado em cada uma das subpastas localizadas em src/waymo_open_dataset/wdl_limited é licenciado sob (a) uma licença de direitos autorais de 3 cláusulas BSD e (b) uma licença de patente limitada adicional. Cada licença de patente limitada é aplicável apenas ao código na respectiva subpasta wdl_limited e é licenciada para uso apenas com o caso de uso estabelecido em tal licença em conexão com o Waymo Open Dataset, conforme autorizado e em conformidade com o Contrato de Licença do Waymo Dataset para uso não comercial. Consulte wdl_limited/camera/, wdl_limited/camera_segmentation/, wdl_limited/sim_agents_metrics/, respectivamente, para obter detalhes.

Atualização de abril de 2024

As Regras foram atualizadas para permitir o treinamento (incluindo modelos de pré-treinamento, co-treinamento ou ajuste fino) usando pesos congelados e pré-treinados de modelos de código aberto disponíveis publicamente para envios aos Desafios. Também adicionamos novos conjuntos de campos (que agora são obrigatórios, ou o servidor retornará um erro) nos metadados de envio para rastrear como os participantes geraram seus envios. Atualizamos os tutoriais para refletir essa mudança, confira os novos campos nos arquivos proto de envio para movimento, agentes sim e fluxo de ocupação.

Atualização de março de 2024

Esta atualização contém várias alterações/adições aos conjuntos de dados:

Conjunto de dados de percepção (v1.4.3 e v2.0.1):

Fizemos melhorias nos rótulos verdadeiros da segmentação semântica 3D, especialmente para a classe de motociclistas.

Conjunto de dados de movimento (v1.2.1):

A versão 1.2.1 WOMD agora fornece dados de câmera, incluindo sensores frontal, frontal esquerdo, frontal direito, lateral esquerdo, lateral direito, traseiro esquerdo, traseiro direito e traseiro. Semelhante aos dados Lidar, os dados da câmera dos conjuntos de treinamento, validação e teste cobrem o primeiro 1 segundo de cada uma das janelas de 9 segundos. Em vez de liberar imagens brutas da câmera, liberamos os tokens de imagem e a incorporação de imagens extraídas de um modelo VQ-GAN pré-treinado.
A versão inicial dos dados da câmera WOMD continha desalinhamento entre os dados LiDAR e as entradas do roadgraph para alguns quadros. A versão 1.2.1 fornece novos carimbos de data/hora para os dados lidar com uma matriz de transformação de pose atualizada por intervalo de tempo.

Também fornecemos as seguintes alterações no código que dá suporte aos desafios.

Previsão de movimento:

Melhoramos a lógica por trás do agrupamento de comportamento usado para mAP.

Agentes Sim:

Melhoramos a qualidade das métricas cinemáticas usando estimativas mais suaves de velocidades e acelerações.
Corrigimos um caso extremo para computação offroad com ultrapassagens.
Recalibramos a configuração da métrica e os pesos das métricas compostas.
Relatamos taxas simuladas de colisão e offroad (não probabilidades).

Atualização de dezembro de 2023

Lançamos a versão v1.6.1 do pacote pip com correções para as métricas WOSAC:

Corrigindo um bug na verificação de validade para colisão e offroad.
Modificando o comportamento da verificação de colisão/offroad quando inválido.

Atualização de agosto de 2023

Lançamos um conjunto de dados de ativos centrados em objetos em grande escala contendo mais de 1,2 milhão de imagens e observações lidar de duas categorias principais (veículos e pedestres) do conjunto de dados de percepção (v2.0.0).

Objetos de percepção extraídos de dados multissensor: todas as cinco câmeras e o lidar superior.
Os recursos do Lidar incluem sequências de nuvens de pontos 3D que suportam a reconstrução da forma do objeto 3D. Além disso, fornecemos pose de caixa refinada por meio do registro de formato de nuvem de pontos para todos os objetos do veículo.
Os recursos da câmera incluem sequências de patches de câmera de most_visible_camera , retornos lidar projetados na câmera correspondente, informações de raios de câmera por pixel e segmentação panóptica 2D rotulada automaticamente que suporta reconstrução de objeto NeRF.
Adicionado um tutorial e código de suporte.

Atualização de março de 2023

Esta grande atualização inclui código de suporte para quatro desafios em waymo.com/open e atualizações de conjuntos de dados para conjuntos de dados de percepção e movimento.

v2.0.0 do conjunto de dados de percepção

Introduziu o conjunto de dados em formato modular, permitindo que os usuários baixem seletivamente apenas os componentes de que precisam.
Inclui todos os recursos da versão 1.4.2 do conjunto de dados de percepção, exceto mapas.
Adicionado um tutorial e código de suporte.

v1.4.2 do conjunto de dados de percepção

Para os rótulos de segmentação panóptica de vídeo 2D, foi adicionada uma máscara para indicar o número de câmeras cobrindo cada pixel.
Adicionados dados de mapa 3D como polilinhas ou polígonos.

v1.2.0 do conjunto de dados de movimento

Adicionados dados Lidar para o conjunto de treinamento (primeiros 1s de cada janela 9s) e o tutorial correspondente e código de suporte.
Adicionadas entradas de automóveis aos dados do mapa. Ajustadas algumas estimativas de altura dos limites da borda da estrada.
Aumentou o número máximo de pontos do mapa em tf_examples para 30k e reduziu a amostragem para 1,0m para aumentar a cobertura do mapa, de modo que a cobertura se iguale à do conjunto de dados no formato proto do cenário. Adicionado código de conversão do formato proto do cenário para o formato tf_examples.

Adicionado código de suporte para os quatro 2023 Waymo Open Dataset Challenges

Sim Agents Challenge, com tutorial
Pose Estimation Challenge, com um tutorial
Desafio de segmentação panóptica de vídeo 2D, com tutorial
Desafio de previsão de movimento, com tutorial

Atualização de dezembro de 2022

Lançamos a v1.4.1 do conjunto de dados Perception.

Melhorou a qualidade dos rótulos de segmentação panóptica de vídeo 2D.

Atualização de junho de 2022

Lançamos a versão 1.4.0 do conjunto de dados Perception.

Adicionados rótulos de segmentação panóptica de vídeo 2D e código de suporte.

Atualização de maio de 2022 (parte 2)

Lançado um tutorial para o Desafio de detecção somente com câmera 3D.
Adicionado suporte para computação 3D-LET-APL em operações de métricas Python. Consulte Compute Metrics no tutorial.
Corrigido um bug na implementação de métricas para o Desafio de Ocupação e Fluxo.

Atualização de maio de 2022

Lançamos a versão 1.3.2 do conjunto de dados Perception para melhorar a qualidade e a precisão dos rótulos.

Rótulos de segmentação semântica 3D atualizados, para melhor consistência temporal e para corrigir pontos rotulados incorretamente.
Rótulos de pontos-chave 2D atualizados para corrigir problemas de corte de imagem.
Adicionado num_top_lidar_points_in_box em dataset.proto para o desafio de detecção somente de câmera 3D.

Atualização de abril de 2022

Lançamos a versão 1.3.1 do conjunto de dados Perception para apoiar os Desafios de 2022 e atualizamos este repositório de acordo.

Adicionadas métricas (LET-3D-APL e LET-3D-AP) para o desafio de detecção somente de câmera 3D.
Adicionados 80 segmentos de imagens de câmera de 20 segundos, como um conjunto de testes para o Desafio de detecção somente de câmera 3D.
Adicionada velocidade e aceleração do eixo z nos metadados do rótulo lidar.
Corrigidas algumas inconsistências em projected_lidar_labels em dataset.proto.
Atualizada a configuração padrão para o Desafio de Ocupação e Fluxo, mudando de pontos de referência agregados para pontos de referência subamostrados.
Atualizado o tutorial do Desafio de Segmentação Semântica 3D com instruções mais detalhadas.

Atualização de março de 2022

Lançamos a versão 1.3.0 do conjunto de dados Perception e os desafios de 2022. Atualizamos este repositório para adicionar suporte para os novos rótulos e desafios.

Adicionados rótulos de segmentação semântica 3D, tutorial e métricas.
Adicionados rótulos de pontos-chave 2D e 3D, tutorial e métricas.
Adicionada correspondência entre rótulos 2D (câmera) e 3D (lidar) (somente para pedestres).
Adicionados tutorial e utilitários para o Desafio de Previsão de Fluxo de Ocupação.
Adicionada a métrica soft mAP para o Motion Prediction Challenge.

Atualização de setembro de 2021

Lançamos a versão 1.1 do conjunto de dados Motion para incluir informações de conectividade de faixa. Para ler mais sobre os detalhes técnicos, leia lane_neighbors_and_boundaries.md.

Adicionadas conexões de pista. Cada pista possui uma lista de IDs de pista que entram ou saem da pista.
Adicionados limites de pista. Cada pista possui uma lista de recursos de limite esquerdo e direito associados à pista e ao segmento da pista onde o limite está ativo.
Adicionados vizinhos de pista. Cada faixa possui uma lista de faixas vizinhas à esquerda e à direita. Estas são faixas nas quais um agente pode fazer uma mudança de faixa.
Precisão de carimbo de data/hora aprimorada.
Valores Z do sinal de parada aprimorados.

Atualização de março de 2021

Expandimos o Waymo Open Dataset para incluir também um conjunto de dados de movimento que compreende trajetórias de objetos e mapas 3D correspondentes para mais de 100.000 segmentos. Atualizamos este repositório para adicionar suporte para este novo conjunto de dados.

Além disso, adicionamos instruções e exemplos para os desafios de detecção em tempo real. Por favor, siga estas instruções.

Site

Para ler mais sobre o conjunto de dados e acessá-lo, visite https://www.waymo.com/open.

Conteúdo

Este repositório de código contém:

Definição do formato do conjunto de dados
Métricas de avaliação
Funções auxiliares no TensorFlow para ajudar na construção de modelos

Citação

para conjunto de dados de percepção

@InProceedings{Sun_2020_CVPR, autor = {Sun, Pei e Kretzschmar, Henrik e Dotiwalla, Xerxes e Chouard, Aurelien e Patnaik, Vijaysai e Tsui, Paul e Guo, James e Zhou, Yin e Chai, Yuning e Caine, Benjamin e Vasudevan, Vijay e Han, Wei e Ngiam, Jiquan e Zhao, Hang e Timofeev, Aleksei e Ettinger, Scott e Krivokon, Maxim e Gao, Amy e Joshi, Aditya e Zhang, Yu e Shlens, Jonathon e Chen, Zhifeng e Anguelov, Dragomir} , título = {Escalabilidade na percepção para direção autônoma: conjunto de dados abertos Waymo}, booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, mês = {junho}, ano = {2020} }

para conjunto de dados de movimento

@InProceedings{Ettinger_2021_ICCV, autor={Ettinger, Scott e Cheng, Shuyang e Caine, Benjamin e Liu, Chenxi e Zhao, Hang e Pradhan, Sabeek e Chai, Yuning e Sapp, Ben e Qi, Charles R. e Zhou, Yin e Yang, Zoey e Chouard, Aur'elien e Sun, Pei e Ngiam, Jiquan e Vasudevan, Vijay e McCauley, Alexander e Shlens, Jonathon e Anguelov, Dragomir}, título = {Previsão de movimento interativo em grande escala para direção autônoma: The Waymo Open Motion Dataset}, booktitle= Anais da Conferência Internacional IEEE/CVF sobre Visão Computacional (ICCV)}, mês={outubro}, ano={2021}, páginas={9710-9719} }

@InProceedings{Kan_2024_icra, autor={Chen, Kan e Ge, Runzhou e Qiu, Hang e Ai-Rfou, Rami e Qi, Charles R. e Zhou, Xuanyu e Yang, Zoey e Ettinger, Scott e Sun, Pei e Leng, Zhaoqi e Mustafa, Mustafa e Bogun, Ivan e Wang, Weiyue e Tan, Mingxing e Anguelov, Dragomir}, título={WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting}, mês={maio}, booktitle= Proceedings of the Conferência Internacional IEEE sobre Robótica e Automação (ICRA)}, ano={2024} }

Metadados do conjunto de dados

A tabela a seguir é necessária para que este conjunto de dados seja indexado por mecanismos de pesquisa como o Google Dataset Search.

propriedade valor

nome Waymo Open Dataset: An autonomous driving dataset

nome alternativo Waymo Open Dataset

url https://github.com/waymo-research/waymo-open-dataset

mesmo que https://github.com/waymo-research/waymo-open-dataset

mesmo que https://www.waymo.com/open

descrição The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology.

provedor