waymo open dataset
December 2023 Update
研究コミュニティによる機械認識と自動運転技術の進歩を支援するために、私たちは Waymo オープン データセットを一般公開しました。
Waymo オープン データセットは、2,030 シーンの高解像度センサー データとラベルを含む Perception データセットと、103,354 シーンのオブジェクトの軌跡と対応する 3D マップを含む Motion データセットの 2 つのデータセットで構成されています。
このコード リポジトリ ( src/waymo_open_dataset/wdl_limitedフォルダーを除く) は、Apache License バージョン 2.0 に基づいてライセンスされています。 src/waymo_open_dataset/wdl_limitedにあるコードは、そこにある条項に基づいてライセンス供与されています。 Waymo Open Dataset 自体は、別の条件に基づいてライセンス供与されます。詳細については、https://waymo.com/open/terms/ をご覧ください。 src/waymo_open_dataset/wdl_limitedにある各サブフォルダーにあるコードは、(a) BSD 3 条項著作権ライセンスおよび (b) 追加の限定特許ライセンスに基づいてライセンスされています。各制限付き特許ライセンスは、それぞれのwdl_limitedサブフォルダーにあるコードにのみ適用され、Waymo データセット ライセンス契約によって認可され、それに準拠して、Waymo オープン データセットに関連するライセンスに記載されているユースケースでのみ使用がライセンスされます。非営利目的での使用。詳細については、それぞれ wdl_limited/camera/、wdl_limited/camera_segmentation/、wdl_limited/sim_agents_metrics/ を参照してください。
ルールが更新され、チャレンジへの提出用に公開されているオープンソース モデルからの凍結された事前トレーニングされた重みを使用したトレーニング (事前トレーニング、共同トレーニング、または微調整モデルを含む) が可能になりました。また、参加者がどのように提出物を生成したかを追跡するために、提出メタデータに新しいフィールドのセット (現在は必須です。そうしないとサーバーがエラーを返します) を追加しました。この変更を反映するためにチュートリアルを更新しました。モーション、シム エージェント、および占有フローに関する送信プロト ファイルの新しいフィールドを確認してください。
この更新には、データセットに対するいくつかの変更/追加が含まれています。
知覚データセット (v1.4.3 および v2.0.1):
特にモーターサイクリストのクラス向けに、3D セマンティック セグメンテーションのグラウンド トゥルース ラベルを改善しました。
モーション データセット (v1.2.1):
1.2.1 WOMD リリースでは、フロント、フロント左、フロント右、サイド左、サイド右、リア左、リア右、リア センサーを含むカメラ データが提供されるようになりました。 Lidar データと同様に、トレーニング、検証、テスト セットのカメラ データは、9 秒間の各ウィンドウの最初の 1 秒をカバーします。生のカメラ画像をリリースする代わりに、事前トレーニングされた VQ-GAN モデルから抽出された画像トークンと画像埋め込みをリリースします。
WOMD カメラ データの最初のリリースには、一部のフレームの LiDAR データと道路グラフ入力の間に不整合が含まれていました。 1.2.1 リリースでは、タイム ステップごとに更新された姿勢変換行列を含む LIDAR データの新しいタイムスタンプが提供されます。
また、この課題をサポートするコードに次の変更を加えています。
動き予測:
mAP で使用される動作バケット化の背後にあるロジックを改善しました。
シムエージェント:
速度と加速度のよりスムーズな推定を使用することにより、運動学メトリクスの品質が向上しました。
高架道路のあるオフロード計算のエッジケースを修正しました。
メトリクス構成と複合メトリクスの重みを再調整しました。
シミュレートされた衝突とオフロードの発生率 (可能性ではありません) を報告します。
WOSAC メトリクスを修正した pip パッケージの v1.6.1 バージョンをリリースしました。
衝突とオフロードの有効性チェックのバグを修正しました。
衝突/オフロードチェックが無効な場合の動作を変更します。
私たちは、知覚データセット (v2.0.0) の 2 つの主要カテゴリ (車両と歩行者) の 120 万枚を超える画像と LIDAR 観測を含む大規模なオブジェクト中心のアセット データセットをリリースしました。
マルチセンサー データから抽出された知覚オブジェクト: 5 台すべてのカメラと上部 LIDAR。
Lidar 機能には、3D オブジェクト形状の再構築をサポートする 3D 点群シーケンスが含まれます。さらに、すべての車両オブジェクトの点群形状登録を通じて、洗練されたボックス ポーズを提供します。
カメラ機能には、 most_visible_cameraからのカメラ パッチのシーケンス、対応するカメラに投影された LIDAR リターン、ピクセルごとのカメラ レイ情報、オブジェクト NeRF 再構成をサポートする自動ラベル付けされた 2D パノプティック セグメンテーションが含まれます。
チュートリアルとサポートコードを追加しました。
このメジャー アップデートには、waymo.com/open にある 4 つの課題に対するサポート コードと、知覚データセットとモーション データセットの両方に対するデータセットの更新が含まれています。
知覚データセットの v2.0.0
データセットをモジュラー形式で導入し、ユーザーが必要なコンポーネントのみを選択してダウンロードできるようにしました。
マップを除く、Perception Dataset v1.4.2 のすべての機能が含まれています。
チュートリアルとサポートコードを追加しました。
知覚データセットの v1.4.2
2D ビデオ パノプティック セグメンテーション ラベルに、各ピクセルをカバーするカメラの数を示すマスクを追加しました。
3D マップ データをポリラインまたはポリゴンとして追加しました。
モーション データセットの v1.2.0
トレーニング セット (各 9 秒ウィンドウの最初の 1) の Lidar データ、および対応するチュートリアルとサポート コードを追加しました。
地図データに私道の入り口を追加しました。一部の道路端境界の高さの推定値を調整しました。
マップ カバレッジを増やすために、tf_examples のマップ ポイントの最大数を 30k に増やし、サンプリングを 1.0m に減らしました。これにより、カバレッジはシナリオ プロト形式のデータセットのカバレッジと等しくなります。シナリオプロト形式からtf_examples形式への変換コードを追加しました。
4 つの 2023 Waymo Open Dataset Challenge のサポート コードを追加しました
シム エージェント チャレンジ、チュートリアル付き
ポーズ推定チャレンジ、チュートリアル付き
2D ビデオ パノプティック セグメンテーション チャレンジ (チュートリアル付き)
動き予測チャレンジ、チュートリアル付き
Perception データセットの v1.4.1 をリリースしました。
2D ビデオ パノプティック セグメンテーション ラベルの品質が向上しました。
Perception データセットの v1.4.0 をリリースしました。
2D ビデオ パノプティック セグメンテーション ラベルとサポート コードを追加しました。
3Dカメラのみの検出チャレンジのチュートリアルを公開しました。
Python メトリクス演算で 3D-LET-APL を計算するためのサポートが追加されました。チュートリアルのCompute Metricsを参照してください。
占有率およびフローチャレンジのメトリクス実装のバグを修正しました。
ラベルの品質と精度を向上させるために、Perception データセットの v1.3.2 をリリースしました。
時間的な一貫性を向上させ、誤ってラベル付けされたポイントを修正するために、3D セマンティック セグメンテーション ラベルを更新しました。
画像のトリミングの問題を修正するために 2D キー ポイント ラベルを更新しました。
3D カメラのみの検出チャレンジ用に、dataset.proto にnum_top_lidar_points_in_boxを追加しました。
2022 チャレンジをサポートするために Perception データセットの v1.3.1 をリリースし、それに応じてこのリポジトリを更新しました。
3D カメラのみの検出チャレンジのメトリクス (LET-3D-APL および LET-3D-AP) を追加しました。
3D カメラのみの検出チャレンジのテスト セットとして、20 秒のカメラ画像の 80 セグメントを追加しました。
LIDAR ラベルのメタデータに Z 軸の速度と加速度を追加しました。
dataset.proto のprojected_lidar_labelsのいくつかの不一致を修正しました。
占有およびフローチャレンジのデフォルト設定を更新し、集約ウェイポイントからサブサンプリングされたウェイポイントに切り替えました。
3D セマンティック セグメンテーション チャレンジのチュートリアルを更新し、より詳細な手順を追加しました。
Perception データセットと 2022 年のチャレンジの v1.3.0 をリリースしました。このリポジトリを更新して、新しいラベルとチャレンジのサポートを追加しました。
3D セマンティック セグメンテーション ラベル、チュートリアル、メトリクスを追加しました。
2D および 3D キーポイント ラベル、チュートリアル、およびメトリクスを追加しました。
2D (カメラ) ラベルと 3D (ライダー) ラベル間の対応を追加しました (歩行者のみ)。
占有フロー予測チャレンジのチュートリアルとユーティリティを追加しました。
モーション予測チャレンジ用のソフト mAP メトリックを追加しました。
車線の接続情報を含めるために、Motion データセットの v1.1 をリリースしました。技術的な詳細については、lane_neighbors_and_boundaries.md をご覧ください。
車線接続を追加しました。各レーンには、レーンに出入りするレーン ID のリストがあります。
車線の境界線を追加しました。 各車線には、車線と境界がアクティブな車線のセグメントに関連付けられた左右の境界フィーチャのリストがあります。
隣接レーンを追加しました。各レーンには、左右の隣接するレーンのリストがあります。 これらは、エージェントが車線変更を行うことができる車線です。
タイムスタンプの精度が向上しました。
一時停止標識の Z 値が改善されました。
Waymo オープン データセットを拡張し、100,000 を超えるセグメントのオブジェクトの軌跡と対応する 3D マップで構成されるモーション データセットも含めました。この新しいデータセットのサポートを追加するために、このリポジトリを更新しました。
さらに、リアルタイム検出の課題に関する手順と例を追加しました。これらの指示に従ってください。
データセットの詳細を読んでアクセスするには、https://www.waymo.com/open にアクセスしてください。
このコード リポジトリには次のものが含まれます。
データセット形式の定義
評価指標
モデルの構築を支援する TensorFlow のヘルパー関数
@InProceedings{Sun_2020_CVPR、著者 = {サン、ペイとクレッツシュマー、ヘンリックとドティワラ、クセルクセスとシュアール、オーレリアンとパトナイク、ビジャイサイとツイ、ポールとグオ、ジェームズとチョウ、インとチャイ、ユーニングとケイン、ベンジャミンとヴァスデヴァン、ビジェイとハン、ウェイとギアム、ジクアンとZhao、Hang と Timofeev、Aleksei と Ettinger、Scott と Krivokon、Maxim と Gao、Amy と Joshi、Aditya と Zhang、Yu と Shlens、Jonathon と Chen、Zhifeng と Anguelov、Dragomir}、title = {自動運転のための認識のスケーラビリティ: Waymo オープン データセット}、booktitle = {IEEE/CVF 会議議事録コンピューター ビジョンとパターン認識 (CVPR)}、月 = {6 月}、年 = {2020} }
@InProceedings{Ettinger_2021_ICCV, author={エッティンガー、スコットとチェン、シュヤンとケイン、ベンジャミンとリウ、チェンシーとチャオ、ハンとプラダン、サビークとチャイ、ユーニンとサップ、ベンとチー、チャールズ R.と周、インとヤン、ゾーイとシュアード、オーレリアンとサン、ペイとンギアム、ジクアンとVasudevan、Vijay および McCauley、Alexander および Shlens、Jonathon および Anguelov、Dragomir}、title={自動運転のための大規模インタラクティブ モーション予測: Waymo オープン モーション データセット}、booktitle= コンピューター ビジョンに関する IEEE/CVF 国際会議議事録 ( ICCV)}、月={10月}、年={2021}、ページ={9710-9719} }
@InProceedings{Kan_2024_icra、author={チェン、カンとゲー、ランジョウとチウ、ハンとアイ・ルフー、ラミとチー、チャールズ・Rと周、玄宇とヤン、ゾーイとエッティンガー、スコットとサン、ペイとレン、チャオチーとムスタファ、ムスタファとボーグン、イワンとワン、ウェイユエとタン、ミンシンとAnguelov、Dragomir}、title={WOMD-LiDAR: 動き予測のための生のセンサー データセット ベンチマーク}、month={May}、booktitle= IEEE ロボティクスとオートメーションに関する国際会議 (ICRA) の議事録}、year={2024} }
次のテーブルは、Google データセット検索などの検索エンジンによってこのデータセットにインデックスが付けられるようにするために必要です。
| 財産 | 価値 | ||||||
|---|---|---|---|---|---|---|---|
| 名前 | Waymo Open Dataset: An autonomous driving dataset | ||||||
| 代替名 | Waymo Open Dataset | ||||||
| URL | https://github.com/waymo-research/waymo-open-dataset | ||||||
| 同じように | https://github.com/waymo-research/waymo-open-dataset | ||||||
| 同じように | https://www.waymo.com/open | ||||||
| 説明 | The Waymo Open Dataset is comprised of high-resolution sensor data collected by autonomous vehicles operated by the Waymo Driver in a wide variety of conditions. We're releasing this dataset publicly to aid the research community in making advancements in machine perception and self-driving technology. | ||||||
| プロバイダー |
| ||||||
| ライセンス |
|
