waymo open dataset
December 2023 Update
我們公開發布了 Waymo 開放資料集，以幫助研究社群在機器感知和自動駕駛技術方面取得進展。
Waymo 開放資料集由兩個資料集組成：感知資料集，包含 2,030 個場景的高解析度感測器資料和標籤；運動資料集，包含 103,354 個場景的物件軌跡和對應的 3D 地圖。
此程式碼儲存庫（不包括src/waymo_open_dataset/wdl_limited資料夾）根據 Apache 授權版本 2.0 取得許可。 src/waymo_open_dataset/wdl_limited中出現的程式碼根據其中出現的條款取得許可。 Waymo 開放資料集本身是根據單獨的條款獲得許可。詳情請瀏覽https://waymo.com/open/terms/。 位於src/waymo_open_dataset/wdl_limited的每個子資料夾中的程式碼均根據 (a) BSD 3 條款版權許可和 (b) 附加有限專利許可獲得許可。每項有限專利許可僅適用於相應wdl_limited子資料夾下的程式碼，並且僅授權用於此類許可中規定的與 Waymo 開放資料集相關的用例，並經 Waymo 資料集許可協議授權並遵守該協議用於非商業用途。有關詳細信息，請分別參閱 wdl_limited/camera/、wdl_limited/camera_segmentation/、wdl_limited/sim_agents_metrics/。
規則已更新，允許使用公開開源模型中的凍結預訓練權重進行訓練（包括預訓練、協同訓練或微調模型），以提交挑戰賽。我們還在提交元資料中新增了一組新欄位（現在是必需的，否則伺服器將傳回錯誤），以追蹤參與者如何產生其提交內容。我們更新了教學課程以反映此變化，查看提交原始文件中的運動、模擬代理和占用流的新欄位。
此更新包含對資料集的多項變更/新增：
感知資料集（v1.4.3 和 v2.0.1）：
我們對 3D 語義分割地面實況標籤進行了改進，特別是針對摩托車騎士類別。
運動資料集（v1.2.1）：
1.2.1 WOMD 版本現在提供攝影機數據，包括前部、左前部、右前部、左側部、右側部、左後部、右後部和後部感測器。與雷射雷達資料類似，訓練集、驗證集和測試集的相機資料覆蓋 9 秒視窗中每個視窗的前 1 秒。我們不發布原始相機影像，而是發布從預先訓練的 VQ-GAN 模型中提取的影像標記和影像嵌入。
WOMD 相機資料的初始版本包含 LiDAR 資料和某些影格的路線圖輸入之間的未對準。 1.2.1 版本為雷射雷達資料提供了新的時間戳，每個時間步都有更新的姿態變換矩陣。
我們還對支援挑戰的程式碼進行了以下更改。
運動預測：
我們改進了用於 mAP 的行為分桶背後的邏輯。
類比代理：
我們透過使用更平滑的速度和加速度估計來提高運動學指標的品質。
我們修復了立體交叉越野運算的邊緣情況。
我們重新校準了指標配置和複合指標權重。
我們報告模擬碰撞和越野率（不是可能性）。
我們發布了 pip 套件的 v1.6.1 版本，其中修復了 WOSAC 指標：
修復了碰撞和越野有效性檢查中的錯誤。
修改碰撞/越野檢查無效時的行為。
我們發布了一個以物件為中心的大規模資產資料集，其中包含感知資料集 (v2.0.0) 中兩個主要類別（車輛和行人）的超過 120 萬張影像和雷射雷達觀測結果。
從多感測器資料中提取感知對象：所有五個攝影機和頂部光達。
光達功能包括支援 3D 物件形狀重建的 3D 點雲序列。我們還透過點雲形狀註冊為所有車輛物件提供精緻的盒子姿勢。
相機功能包括來自most_visible_camera的相機補丁序列、對應相機上的投影雷射雷達返回、每像素相機光線資訊以及支援物件NeRF重建的自動標記2D全景分割。
新增了教程和支援代碼。
此次重大更新包括支援 waymo.com/open 上四個挑戰的程式碼，以及感知和運動資料集的資料集更新。
感知資料集 v2.0.0
引入了模組化格式的資料集，使用戶能夠選擇性地僅下載他們需要的元件。
包括感知資料集 v1.4.2 中除地圖之外的所有功能。
新增了教程和支援代碼。
感知資料集 v1.4.2
對於 2D 視訊全景分割標籤，新增了一個遮罩來指示覆蓋每個像素的攝影機數量。
新增了 3D 地圖資料作為折線或多邊形。
運動資料集 v1.2.0
新增了訓練集的雷射雷達資料（每個9s窗口的前1s），以及相應的教程和支援代碼。
在地圖資料中新增了車道入口。調整了一些道路邊緣邊界高度估計。
將 tf_examples 中的最大地圖點數量增加到 30k，並將取樣減少到 1.0m，以增加地圖覆蓋範圍，因此覆蓋範圍與場景原型格式的資料集的覆蓋範圍相等。新增了從場景原型格式到 tf_examples 格式的轉換程式碼。
新增了四個 2023 Waymo 開放資料集挑戰的支援代碼
模擬特務挑戰賽，附教學
姿勢估價挑戰，附教程
2D 視訊全景分割挑戰賽，附教學
運動預測挑戰，附教程
我們發布了 Perception 資料集 v1.4.1。
提高了 2D 視訊全景分割標籤的品質。
我們發布了 Perception 資料集 v1.4.0。
新增了 2D 視訊全景分割標籤和支援代碼。
發布了僅 3D 相機偵測挑戰賽的教學。
新增了在 Python 指標操作中計算 3D-LET-APL 的支援。請參閱教程中的Compute Metrics 。
修正了佔用率和流量挑戰的指標實施中的錯誤。
我們發布了 Perception 資料集 v1.3.2，以提高標籤的品質和準確性。
更新了 3D 語義分割標籤，以實現更好的時間一致性並修復錯誤標記的點。
更新了 2D 關鍵點標籤以修復影像裁切問題。
在 dataset.proto 中為僅 3D 相機偵測挑戰添加了num_top_lidar_points_in_box 。
我們發布了感知資料集 v1.3.1 以支援 2022 年挑戰，並相應更新了此儲存庫。
為僅 3D 相機偵測挑戰添加了指標（LET-3D-APL 和 LET-3D-AP）。
新增了 80 個 20 秒相機影像片段，作為僅 3D 相機偵測挑戰賽的測試集。
在雷射雷達標籤元資料中加入了 z 軸速度和加速度。
修正了 dataset.proto 中projected_lidar_labels的一些不一致問題。
更新了佔用和流量挑戰的預設配置，從聚合航路點切換為二次採樣航路點。
使用更詳細的說明更新了 3D 語意分割挑戰賽的教學。
我們發布了感知資料集 v1.3.0 和 2022 年挑戰。我們更新了此存儲庫以添加對新標籤和挑戰的支援。
新增了 3D 語義分割標籤、教學和指標。
新增了 2D 和 3D 關鍵點標籤、教學和指標。
新增了 2D（相機）和 3D（光達）標籤（僅限行人）之間的對應關係。
新增了佔用流量預測挑戰的教學和實用程式。
新增了運動預測挑戰的軟 mAP 指標。
我們發布了 Motion 資料集 v1.1，以包含車道連接資訊。如欲了解更多技術細節，請閱讀 Lane_neighbors_and_boundaries.md。
增加了車道連接。每個車道都有一個進入或離開車道的車道 ID 清單。
增加了車道邊界。 每個車道都有與該車道以及邊界處於活動狀態的車道段相關聯的左右邊界要素清單。
增加了車道鄰居。每個車道都有一個左右相鄰車道的清單。 這些是客服人員可以變更車道的車道。
提高了時間戳精度。
改進了停車標誌 Z 值。
我們擴展了 Waymo 開放資料集，新增了一個運動資料集，其中包含超過 100,000 個分段的物件軌跡和相應的 3D 地圖。我們更新了此存儲庫以添加對此新資料集的支援。
此外，我們還添加了即時檢測挑戰的說明和範例。請遵循這些說明。
要了解有關該資料集的更多資訊並訪問它，請訪問 https://www.waymo.com/open。
此程式碼存儲庫包含：
資料集格式的定義
評估指標
TensorFlow 中的輔助函數可協助建立模型
@InProceedings{Sun_2020_CVPR，作者 = {Sun、Pei 和 Kretzschmar、Henrik 和 Dotiwalla、Xerxes 和 Chouard、Aurelien 和 Patnaik、Vijaysai 和 Tsui、Paul 和Guo、James 和 Zhou、Yin 和 Chai、Yuning 和 Caine、Benjamin 和 Vasvan， Vijay 和Han、Wei 和Ngiam、Jiquan 和趙、Hang 和Timofeev、Aleksei 和Ettinger、Scott 和Krivokon、Maxim 和高、Amy 和Joshi、Aditya 和張、Yu 和Shlens、Jonathon 和Chen、Zhifeng 和Anguelov、Dragomir} ，標題= {自動駕駛感知的可擴展性：Waymo 開放資料集}，書名= {IEEE/CVF 計算機視覺和模式識別會議(CVPR) 會議記錄}，月份= {6 月}，年份= {2020} }
@InProceedings{Ettinger_2021_ICCV，作者={Ettinger、Scott 和 Cheng、Shuyang 和 Caine、Benjamin 和 Liu、Chenxi 和 Zhu、Hang 和 Pradhan、Sabeek 和 Chai、Yuning 和 Sapp、Ben 和 Qi、Charles R. 和 Zhou、Yin 和Yang、Zoey 和Chouard、Aur'elien 和Sun、Pei 和Ngiam、Jiquan 和Vasudevan、Vijay 和McCauley、Alexander 和Shlens、Jonathon 和Anguelov、Dragomir}，title={自動駕駛大規模互動運動預測：Waymo Open運動資料集}，書名= IEEE/CVF 國際電腦視覺會議(ICCV) 論文集}，月={10 月}，年={2021}，頁數={9710-9719} }
@InProceedings{Kan_2024_icra，作者={Chen、Kan 和Ge、Run Zhou 和Qiu、Hang 和Ai-Rfou、Rami 和Qi、Charles R. 和Zhou、Xuanyu 和Yang、Zoey 和Ettinger、Scott 和Sun、Pei 和Leng ，趙奇和穆斯塔法、穆斯塔法和博貢、伊凡和王、魏岳和譚、明星和安格洛夫、德拉戈米爾}，標題={WOMD-LiDAR：運動預測的原始感測器資料集基準}，月份={五月}，書名=會議論文集IEEE 國際機器人與自動化會議 (ICRA)}，年份={2024} }
下表對於 Google Dataset Search 等搜尋引擎索引該資料集是必需的。
| 財產 | 價值 | ||||||
|---|---|---|---|---|---|---|---|
| 姓名 | Waymo Open Dataset: An autonomous driving dataset | ||||||
| 備用名稱 | Waymo Open Dataset | ||||||
| 網址 | https://github.com/waymo-research/waymo-open-dataset | ||||||
| 相同 | https://github.com/waymo-research/waymo-open-dataset | ||||||
| 相同 | https://www.waymo.com/open | ||||||
| 描述 | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
| 提供者 |
| ||||||
| 執照 |
|
