우리는 연구 커뮤니티가 기계 인식 및 자율 주행 기술을 발전시키는 데 도움을 주기 위해 Waymo Open Dataset을 공개적으로 출시했습니다.
Waymo Open Dataset은 2,030개의 장면에 대한 고해상도 센서 데이터와 레이블이 포함된 Perception 데이터세트와 103,354개의 장면에 대한 객체 궤적 및 해당 3D 지도가 포함된 Motion 데이터세트의 두 가지 데이터세트로 구성됩니다.
이 코드 저장소( src/waymo_open_dataset/wdl_limited
폴더 제외)는 Apache 라이센스 버전 2.0에 따라 라이센스가 부여됩니다. src/waymo_open_dataset/wdl_limited
에 나타나는 코드는 거기에 나타나는 조건에 따라 라이센스가 부여됩니다. Waymo Open Dataset 자체는 별도의 조건에 따라 라이선스가 부여됩니다. 자세한 내용은 https://waymo.com/open/terms/를 방문하세요. src/waymo_open_dataset/wdl_limited
에 있는 각 하위 폴더에 있는 코드는 (a) BSD 3 조항 저작권 라이센스 및 (b) 추가 제한 특허 라이센스에 따라 라이센스가 부여됩니다. 각각의 제한된 특허 라이선스는 해당 wdl_limited
하위 폴더 아래의 코드에만 적용 가능하며 Waymo Dataset 라이선스 계약에 따라 승인되고 이를 준수하는 Waymo Open Dataset과 관련하여 해당 라이선스에 명시된 사용 사례에 대해서만 사용하도록 라이선스가 부여됩니다. 비상업적 용도로. 자세한 내용은 각각 wdl_limited/camera/, wdl_limited/camera_segmentation/, wdl_limited/sim_agents_metrics/를 참조하세요.
챌린지에 제출하기 위해 공개적으로 사용 가능한 오픈 소스 모델에서 고정된 사전 훈련된 가중치를 사용하여 훈련(사전 훈련, 공동 훈련 또는 미세 조정 모델 포함)을 허용하도록 규칙이 업데이트되었습니다. 또한 참가자가 제출물을 생성한 방법을 추적하기 위해 제출 메타데이터에 새로운 필드 세트(이제는 필수이며 그렇지 않으면 서버가 오류를 반환함)를 추가했습니다. 이 변경 사항을 반영하기 위해 튜토리얼을 업데이트했습니다. 모션, 시뮬레이션 에이전트 및 점유 흐름에 대한 제출 프로토 파일의 새 필드를 확인하세요.
이 업데이트에는 데이터 세트에 대한 몇 가지 변경/추가가 포함되어 있습니다.
인식 데이터 세트(v1.4.3 및 v2.0.1):
특히 오토바이 운전자 클래스를 위해 3D 의미론적 분할 실측 레이블을 개선했습니다.
모션 데이터 세트(v1.2.1):
1.2.1 WOMD 릴리스는 이제 전면, 전면 왼쪽, 전면 오른쪽, 측면 왼쪽, 측면 오른쪽, 후면 왼쪽, 후면 오른쪽 및 후면 센서를 포함한 카메라 데이터를 제공합니다. Lidar 데이터와 유사하게 훈련, 검증 및 테스트 세트의 카메라 데이터는 각 9초 창의 처음 1초를 포괄합니다. 원시 카메라 이미지를 공개하는 대신 사전 훈련된 VQ-GAN 모델에서 추출한 이미지 토큰과 이미지 임베딩을 공개합니다.
WOMD 카메라 데이터의 초기 릴리스에는 일부 프레임에 대한 LiDAR 데이터와 로드그래프 입력 간의 정렬 오류가 포함되어 있었습니다. 1.2.1 릴리스에서는 시간 단계별로 업데이트된 포즈 변환 매트릭스를 사용하여 LiDAR 데이터에 대한 새로운 타임스탬프를 제공합니다.
또한 챌린지를 지원하는 코드에 다음과 같은 변경 사항을 제공합니다.
모션 예측:
mAP에 사용되는 동작 버킷팅의 논리를 개선했습니다.
심 에이전트:
우리는 속도와 가속도를 보다 원활하게 추정하여 운동학적 측정의 품질을 향상시켰습니다.
육교를 통한 오프로드 계산의 극단적인 경우를 수정했습니다.
지표 구성 및 복합 지표 가중치를 다시 보정했습니다.
우리는 시뮬레이션된 충돌 및 오프로드 비율을 보고합니다(가능성이 아님).
WOSAC 지표에 대한 수정 사항이 포함된 pip 패키지 v1.6.1 버전을 출시했습니다.
충돌 및 오프로드에 대한 유효성 검사 버그를 수정했습니다.
유효하지 않은 경우 충돌/오프로드 확인 동작을 수정합니다.
우리는 Perception Dataset(v2.0.0)에서 두 가지 주요 범주(차량 및 보행자)에 대한 120만 개 이상의 이미지와 LiDAR 관찰을 포함하는 대규모 객체 중심 자산 데이터 세트를 출시했습니다.
다중 센서 데이터에서 추출된 인식 객체: 5개의 카메라 모두와 상단 LiDAR.
Lidar 기능에는 3D 객체 모양 재구성을 지원하는 3D 포인트 클라우드 시퀀스가 포함됩니다. 모든 차량 객체에 대한 포인트 클라우드 모양 등록을 통해 세련된 상자 포즈를 추가로 제공합니다.
카메라 기능에는 most_visible_camera
의 카메라 패치 시퀀스, 해당 카메라에 투영된 LiDAR 반사, 픽셀당 카메라 광선 정보, 객체 NeRF 재구성을 지원하는 자동 레이블이 지정된 2D Panoptic 분할이 포함됩니다.
튜토리얼 및 지원 코드를 추가했습니다.
이번 주요 업데이트에는 waymo.com/open의 4가지 과제에 대한 코드 지원과 Perception 및 Motion Datasets에 대한 데이터세트 업데이트가 포함되어 있습니다.
인식 데이터세트 v2.0.0
모듈식 형식의 데이터 세트를 도입하여 사용자가 필요한 구성 요소만 선택적으로 다운로드할 수 있습니다.
지도를 제외하고 Perception Dataset v1.4.2의 모든 기능을 포함합니다.
튜토리얼 및 지원 코드를 추가했습니다.
인식 데이터세트 v1.4.2
2D 비디오 팬옵틱 분할 레이블의 경우 각 픽셀을 덮는 카메라 수를 나타내는 마스크를 추가했습니다.
3D 지도 데이터를 폴리라인 또는 폴리곤으로 추가했습니다.
모션 데이터세트 v1.2.0
훈련 세트(각 9초 창의 처음 1)에 대한 Lidar 데이터와 해당 튜토리얼 및 지원 코드를 추가했습니다.
지도 데이터에 진입로 입구를 추가했습니다. 일부 도로 가장자리 경계 높이 추정치를 조정했습니다.
tf_examples의 최대 지도 지점 수를 30k로 늘리고 샘플링을 1.0m로 줄여 지도 적용 범위를 늘렸습니다. 따라서 적용 범위는 시나리오 프로토 형식의 데이터 세트와 동일합니다. 시나리오 proto 형식에서 tf_examples 형식으로의 변환 코드를 추가했습니다.
4개의 2023 Waymo Open Dataset Challenges에 대한 지원 코드가 추가되었습니다.
심 에이전트 챌린지(튜토리얼 포함)
튜토리얼이 포함된 포즈 추정 챌린지
튜토리얼이 포함된 2D 비디오 파노라마 분할 챌린지
모션 예측 챌린지(튜토리얼 포함)
우리는 Perception 데이터 세트 v1.4.1을 출시했습니다.
2D 비디오 Panoptic 분할 레이블의 품질이 향상되었습니다.
우리는 Perception 데이터세트 v1.4.0을 출시했습니다.
2D 비디오 Panoptic 분할 레이블 및 지원 코드가 추가되었습니다.
3D 카메라 전용 감지 챌린지에 대한 튜토리얼을 출시했습니다.
Python 메트릭 작업에서 3D-LET-APL 컴퓨팅에 대한 지원이 추가되었습니다. 튜토리얼에서 Compute Metrics
참조하세요.
Occupancy and Flow Challenge에 대한 지표 구현의 버그를 수정했습니다.
우리는 라벨의 품질과 정확성을 향상시키기 위해 Perception 데이터 세트 v1.3.2를 출시했습니다.
시간적 일관성을 높이고 잘못 레이블이 지정된 지점을 수정하기 위해 3D 의미론적 분할 레이블을 업데이트했습니다.
이미지 자르기 문제를 해결하기 위해 2D 키 포인트 라벨을 업데이트했습니다.
3D 카메라 전용 감지 챌린지를 위해 데이터세트.proto에 num_top_lidar_points_in_box
추가했습니다.
우리는 2022년 챌린지를 지원하기 위해 Perception 데이터 세트 v1.3.1을 출시했으며 이에 따라 이 저장소를 업데이트했습니다.
3D 카메라 전용 감지 챌린지에 대한 측정항목(LET-3D-APL 및 LET-3D-AP)이 추가되었습니다.
3D 카메라 전용 감지 챌린지에 대한 테스트 세트로 20초 카메라 이미지의 80개 세그먼트를 추가했습니다.
LiDAR 라벨 메타데이터에 Z축 속도 및 가속도를 추가했습니다.
Dataset.proto의 projected_lidar_labels
에서 일부 불일치가 수정되었습니다.
점유 및 흐름 챌린지의 기본 구성을 업데이트하여 집계 경유지에서 하위 샘플링 경유지로 전환했습니다.
3D 의미론적 분할 챌린지 튜토리얼을 더 자세한 지침으로 업데이트했습니다.
우리는 Perception 데이터 세트 v1.3.0과 2022년 과제를 출시했습니다. 새로운 레이블과 과제에 대한 지원을 추가하기 위해 이 저장소를 업데이트했습니다.
3D 의미론적 분할 레이블, 튜토리얼 및 측정항목이 추가되었습니다.
2D 및 3D 키포인트 레이블, 튜토리얼 및 측정항목이 추가되었습니다.
2D(카메라)와 3D(Lidar) 라벨 간의 대응이 추가되었습니다(보행자 전용).
Occupancy Flow Prediction Challenge에 대한 튜토리얼 및 유틸리티가 추가되었습니다.
모션 예측 챌린지에 대한 소프트 mAP 측정항목을 추가했습니다.
차선 연결 정보를 포함하는 모션 데이터 세트 v1.1을 출시했습니다. 기술적인 세부 사항에 대해 더 자세히 알아보려면 Lane_neighbors_and_boundaries.md를 읽어보세요.
차선 연결이 추가되었습니다. 각 차선에는 차선에 들어가거나 나가는 차선 ID 목록이 있습니다.
차선 경계가 추가되었습니다. 각 차선에는 차선 및 경계가 활성화된 차선 세그먼트와 연관된 왼쪽 및 오른쪽 경계 기능 목록이 있습니다.
차선 이웃이 추가되었습니다. 각 차선에는 왼쪽 및 오른쪽 인접 차선 목록이 있습니다. 상담원이 차선을 변경할 수 있는 차선입니다.
타임스탬프 정밀도가 향상되었습니다.
정지 신호 Z 값이 개선되었습니다.
우리는 100,000개가 넘는 세그먼트에 대한 객체 궤적과 해당 3D 지도로 구성된 모션 데이터세트도 포함하도록 Waymo Open Dataset를 확장했습니다. 이 새로운 데이터 세트에 대한 지원을 추가하기 위해 이 리포지토리를 업데이트했습니다.
또한 실시간 탐지 문제에 대한 지침과 예시를 추가했습니다. 다음 지침을 따르십시오.
데이터세트에 대한 자세한 내용을 읽고 액세스하려면 https://www.waymo.com/open을 방문하세요.
이 코드 저장소에는 다음이 포함되어 있습니다.
데이터 세트 형식의 정의
평가 지표
모델 구축을 돕는 TensorFlow의 도우미 기능
@InProceedings{Sun_2020_CVPR, 저자 = {Sun, Pei 및 Kretzschmar, Henrik 및 Dotiwalla, Xerxes 및 Chouard, Aurelien 및 Patnaik, Vijaysai 및 Tsui, Paul 및 Guo, James 및 Zhou, Yin 및 Chai, Yuning 및 Caine, Benjamin 및 Vasudevan, Vijay와 Han, Wei와 Ngiam, Jiquan과 Zhao, Hang 및 Timofeev, Aleksei 및 Ettinger, Scott 및 Krivokon, Maxim 및 Gao, Amy 및 Joshi, Aditya 및 Zhang, Yu 및 Shlens, Jonathon 및 Chen, Zhifeng 및 Anguelov, Dragomir}, 제목 = {자율 주행에 대한 인식의 확장성: Waymo Open 데이터세트}, 책제목 = {컴퓨터 비전 및 패턴 인식에 관한 IEEE/CVF 컨퍼런스 회의록 (CVPR)}, 월 = {6월}, 연도 = {2020} }
@InProceedings{Ettinger_2021_ICCV, 저자={Ettinger, Scott 및 Cheng, Shuyang 및 Caine, Benjamin 및 Liu, Chenxi 및 Zhao, Hang 및 Pradhan, Sabeek 및 Chai, Yuning 및 Sapp, Ben 및 Qi, Charles R. 및 Zhou, Yin 및 Yang, Zoey 및 Chouard, Aur'elien 및 Sun, Pei 및 Ngiam, Jiquan 및 Vasudevan, Vijay and McCauley, Alexander and Shlens, Jonathon and Anguelov, Dragomir}, title={자율 운전을 위한 대규모 대화형 모션 예측: Waymo 개방형 모션 데이터세트}, booktitle= 컴퓨터 비전에 관한 IEEE/CVF 국제 컨퍼런스(ICCV)의 진행 }, 월={10월}, 연도={2021}, 페이지={9710-9719} }
@InProceedings{Kan_2024_icra, 저자={Chen, Kan 및 Ge, Runzhou 및 Qiu, Hang 및 Ai-Rfou, Rami 및 Qi, Charles R. 및 Zhou, Xuanyu 및 Yang, Zoey 및 Ettinger, Scott 및 Sun, Pei 및 Leng, Zhaoqi와 Mustafa, Mustafa와 Bogun, Ivan과 Wang, Weiyue와 Tan, Mingxing과 Anguelov, Dragomir}, 제목={WOMD-LiDAR: 동작 예측을 위한 원시 센서 데이터 세트 벤치마크}, 월={5월}, booktitle= 로봇공학 및 자동화에 관한 IEEE 국제 회의(ICRA) 논문집}, 연도={2024} }
Google 데이터 세트 검색과 같은 검색 엔진에서 이 데이터 세트를 색인화하려면 다음 표가 필요합니다.
재산 | 값 | ||||||
---|---|---|---|---|---|---|---|
이름 | Waymo Open Dataset: An autonomous driving dataset | ||||||
대체 이름 | Waymo Open Dataset | ||||||
URL | https://github.com/waymo-research/waymo-open-dataset | ||||||
동일 | https://github.com/waymo-research/waymo-open-dataset | ||||||
동일 | https://www.waymo.com/open | ||||||
설명 | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
공급자 |
| ||||||
특허 |
|