我们公开发布了 Waymo 开放数据集,以帮助研究社区在机器感知和自动驾驶技术方面取得进展。
Waymo 开放数据集由两个数据集组成:感知数据集,包含 2,030 个场景的高分辨率传感器数据和标签;运动数据集,包含 103,354 个场景的对象轨迹和相应的 3D 地图。
此代码存储库(不包括src/waymo_open_dataset/wdl_limited
文件夹)根据 Apache 许可证版本 2.0 获得许可。 src/waymo_open_dataset/wdl_limited
中出现的代码根据其中出现的条款获得许可。 Waymo 开放数据集本身根据单独的条款获得许可。详情请访问https://waymo.com/open/terms/。 位于src/waymo_open_dataset/wdl_limited
的每个子文件夹中的代码均根据 (a) BSD 3 条款版权许可和 (b) 附加有限专利许可获得许可。每项有限专利许可仅适用于相应wdl_limited
子文件夹下的代码,并且仅授权用于此类许可中规定的与 Waymo 开放数据集相关的用例,并经 Waymo 数据集许可协议授权并遵守该协议用于非商业用途。有关详细信息,请分别参阅 wdl_limited/camera/、wdl_limited/camera_segmentation/、wdl_limited/sim_agents_metrics/。
规则已更新,允许使用公开开源模型中的冻结预训练权重进行训练(包括预训练、协同训练或微调模型),以提交挑战赛。我们还在提交元数据中添加了一组新字段(现在是必需的,否则服务器将返回错误),以跟踪参与者如何生成其提交内容。我们更新了教程以反映这一变化,查看提交原始文件中的运动、模拟代理和占用流的新字段。
此更新包含对数据集的多项更改/添加:
感知数据集(v1.4.3 和 v2.0.1):
我们对 3D 语义分割地面实况标签进行了改进,特别是针对摩托车手类别。
运动数据集(v1.2.1):
1.2.1 WOMD 版本现在提供摄像头数据,包括前部、左前部、右前部、左侧部、右侧部、左后部、右后部和后部传感器。与激光雷达数据类似,训练集、验证集和测试集的相机数据覆盖 9 秒窗口中每个窗口的前 1 秒。我们不发布原始相机图像,而是发布从预训练的 VQ-GAN 模型中提取的图像标记和图像嵌入。
WOMD 相机数据的初始版本包含 LiDAR 数据和某些帧的路线图输入之间的未对准。 1.2.1 版本为激光雷达数据提供了新的时间戳,每个时间步都有更新的姿态变换矩阵。
我们还对支持挑战的代码进行了以下更改。
运动预测:
我们改进了用于 mAP 的行为分桶背后的逻辑。
模拟代理:
我们通过使用更平滑的速度和加速度估计来提高运动学指标的质量。
我们修复了立交桥越野计算的边缘情况。
我们重新校准了指标配置和复合指标权重。
我们报告模拟碰撞和越野率(不是可能性)。
我们发布了 pip 包的 v1.6.1 版本,其中修复了 WOSAC 指标:
修复了碰撞和越野有效性检查中的错误。
修改碰撞/越野检查无效时的行为。
我们发布了一个以对象为中心的大规模资产数据集,其中包含感知数据集 (v2.0.0) 中两个主要类别(车辆和行人)的超过 120 万张图像和激光雷达观测结果。
从多传感器数据中提取感知对象:所有五个摄像头和顶部激光雷达。
激光雷达功能包括支持 3D 对象形状重建的 3D 点云序列。我们还通过点云形状注册为所有车辆对象提供精致的盒子姿势。
相机功能包括来自most_visible_camera
的相机补丁序列、相应相机上的投影激光雷达返回、每像素相机光线信息以及支持对象NeRF重建的自动标记2D全景分割。
添加了教程和支持代码。
此次重大更新包括支持 waymo.com/open 上四个挑战的代码,以及感知和运动数据集的数据集更新。
感知数据集 v2.0.0
引入了模块化格式的数据集,使用户能够有选择地仅下载他们需要的组件。
包括感知数据集 v1.4.2 中除地图之外的所有功能。
添加了教程和支持代码。
感知数据集 v1.4.2
对于 2D 视频全景分割标签,添加了一个掩码来指示覆盖每个像素的摄像机数量。
添加了 3D 地图数据作为折线或多边形。
运动数据集 v1.2.0
添加了训练集的激光雷达数据(每个9s窗口的前1s),以及相应的教程和支持代码。
在地图数据中添加了车道入口。调整了一些道路边缘边界高度估计。
将 tf_examples 中的最大地图点数量增加到 30k,并将采样减少到 1.0m,以增加地图覆盖范围,因此覆盖范围与场景原型格式的数据集的覆盖范围相等。添加了从场景原型格式到 tf_examples 格式的转换代码。
添加了四项 2023 Waymo 开放数据集挑战的支持代码
模拟特工挑战赛,附教程
姿势估计挑战,附教程
2D 视频全景分割挑战赛,附教程
运动预测挑战,附教程
我们发布了 Perception 数据集 v1.4.1。
提高了 2D 视频全景分割标签的质量。
我们发布了 Perception 数据集 v1.4.0。
添加了 2D 视频全景分割标签和支持代码。
发布了仅 3D 相机检测挑战赛的教程。
添加了对在 Python 指标操作中计算 3D-LET-APL 的支持。请参阅教程中的Compute Metrics
。
修复了占用率和流量挑战的指标实施中的错误。
我们发布了 Perception 数据集 v1.3.2,以提高标签的质量和准确性。
更新了 3D 语义分割标签,以实现更好的时间一致性并修复错误标记的点。
更新了 2D 关键点标签以修复图像裁剪问题。
在 dataset.proto 中为仅 3D 相机检测挑战添加了num_top_lidar_points_in_box
。
我们发布了感知数据集 v1.3.1 以支持 2022 年挑战,并相应更新了此存储库。
为仅 3D 相机检测挑战添加了指标(LET-3D-APL 和 LET-3D-AP)。
添加了 80 个 20 秒相机图像片段,作为仅 3D 相机检测挑战赛的测试集。
在激光雷达标签元数据中添加了 z 轴速度和加速度。
修复了 dataset.proto 中projected_lidar_labels
的一些不一致问题。
更新了占用和流量挑战的默认配置,从聚合航路点切换为二次采样航路点。
使用更详细的说明更新了 3D 语义分割挑战赛的教程。
我们发布了感知数据集 v1.3.0 和 2022 年挑战。我们更新了此存储库以添加对新标签和挑战的支持。
添加了 3D 语义分割标签、教程和指标。
添加了 2D 和 3D 关键点标签、教程和指标。
添加了 2D(相机)和 3D(激光雷达)标签(仅限行人)之间的对应关系。
添加了占用流量预测挑战的教程和实用程序。
添加了运动预测挑战的软 mAP 指标。
我们发布了 Motion 数据集 v1.1,以包含车道连接信息。要了解更多技术细节,请阅读 Lane_neighbors_and_boundaries.md。
添加了车道连接。每个车道都有一个进入或离开车道的车道 ID 列表。
添加了车道边界。 每个车道都有与该车道以及边界处于活动状态的车道段相关联的左右边界要素列表。
添加了车道邻居。每个车道都有一个左右相邻车道的列表。 这些是客服人员可以变更车道的车道。
提高了时间戳精度。
改进了停车标志 Z 值。
我们扩展了 Waymo 开放数据集,添加了一个运动数据集,其中包含超过 100,000 个分段的对象轨迹和相应的 3D 地图。我们更新了此存储库以添加对此新数据集的支持。
此外,我们还添加了实时检测挑战的说明和示例。请遵循这些说明。
要了解有关该数据集的更多信息并访问它,请访问 https://www.waymo.com/open。
该代码存储库包含:
数据集格式的定义
评估指标
TensorFlow 中的辅助函数可帮助构建模型
@InProceedings{Sun_2020_CVPR,作者 = {Sun、Pei 和 Kretzschmar、Henrik 和 Dotiwalla、Xerxes 和 Chouard、Aurelien 和 Patnaik、Vijaysai 和 Tsui、Paul 和Guo、James 和 Zhou、Yin 和 Chai、Yuning 和 Caine、Benjamin 和 Vasudevan, Vijay 和 Han、Wei 和 Ngiam、Jiquan 和赵、Hang 和Timofeev、Aleksei 和 Ettinger、Scott 和 Krivokon、Maxim 和 Gau、Amy 和 Joshi、Aditya 和 Zhang、Yu 和 Shlens、Jonathon 和 Chen、Zhifeng 和 Anguelov、Dragomir},标题 = {自动驾驶感知的可扩展性:Waymo 开放数据集},书名 = {IEEE/CVF 计算机视觉和模式识别会议 (CVPR) 会议记录},月份 = {六月},年份 = {2020} }
@InProceedings{Ettinger_2021_ICCV,作者={Ettinger、Scott 和 Cheng、Shuyang 和 Caine、Benjamin 和 Liu、Chenxi 和 Zhu、Hang 和 Pradhan、Sabeek 和 Chai、Yuning 和 Sapp、Ben 和 Qi、Charles R. 和 Zhou、Yin 和Yang、Zoey 和 Chouard、Aur'elien 和 Sun、Pei 和 Ngiam、Jiquan 和 Vasudevan、Vijay 和McCauley、Alexander 和 Shlens、Jonathon 和 Anguelov、Dragomir},title={自动驾驶大规模交互式运动预测:Waymo 开放运动数据集},booktitle=IEEE/CVF 国际计算机视觉会议 (ICCV) 会议记录},月={10 月},年={2021},页={9710-9719} }
@InProceedings{Kan_2024_icra,作者={Chen、Kan 和 Ge、Run Zhou 和 Qiu、Hang 和 Ai-Rfou、Rami 和 Qi、Charles R. 和 Zhou、Xuanyu 和 Yang、Zoey 和 Ettinger、Scott 和 Sun、Pei 和 Leng,赵奇和穆斯塔法、穆斯塔法和博贡、伊万和王、伟跃和谭、明星和安格洛夫、德拉戈米尔}、 title={WOMD-LiDAR:运动预测的原始传感器数据集基准},month={5 月},booktitle= IEEE 国际机器人与自动化会议 (ICRA) 论文集},year={2024} }
下表对于 Google Dataset Search 等搜索引擎索引该数据集是必需的。
财产 | 价值 | ||||||
---|---|---|---|---|---|---|---|
姓名 | Waymo Open Dataset: An autonomous driving dataset | ||||||
备用名称 | Waymo Open Dataset | ||||||
网址 | https://github.com/waymo-research/waymo-open-dataset | ||||||
相同 | https://github.com/waymo-research/waymo-open-dataset | ||||||
相同 | https://www.waymo.com/open | ||||||
描述 | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
提供者 |
| ||||||
执照 |
|