プロジェクトの中止

このプロジェクトはインテルによる保守が終了します。
インテルは、このプロジェクトに対する開発と、メンテナンス、バグ修正、新しいリリース、またはアップデートを含むがこれらに限定されない貢献を中止しました。
インテルはこのプロジェクトへのパッチを受け付けなくなりました。
このプロジェクトを継続的に使用する必要がある場合、独自に開発することに興味がある場合、またはオープンソースソフトウェアコミュニティ用のパッチを保守したい場合は、このプロジェクトの独自のフォークを作成してください。

オブジェクトスキャンの大規模なデータセット (redwood-3dscan)

抽象的な

私たちは、実際のオブジェクトの 1 万件を超える 3D スキャンのデータセットを作成しました。データセットを作成するために、私たちは 70 人のオペレーターを採用し、消費者向けのモバイル 3D スキャンセットアップを装備し、環境内のオブジェクトをスキャンするために報酬を支払いました。オペレーターは、研究室の外で、コンピュータービジョンの専門家による直接の監督を受けることなく、選択したオブジェクトをスキャンしました。その結果、靴、マグカップ、おもちゃからグランドピアノ、建設車両、屋外の大きな彫刻に至るまで、オブジェクトスキャンの大規模で多様なコレクションが作成されました。私たちは弁護士と協力して、データ取得がプライバシーの制約に違反しないことを確認しました。取得されたデータは取り消し不能の形でパブリックドメインに置かれ、自由に利用できます。

http://redwood-data.org/3dscan/ でデータセットをプレビューして探索できます。

データセットの構成

ダウンロードスクリプトを使用する場合、ダウンロードされたデータセットはdata/に保存されます。

data
├── rgbd (10,933 RGBD scans, each contains multiple RGB and depth images)
│   ├── 00001.zip
│   ├── 00002.zip
│   ├── ...
│   ├── 11097.zip
│   └── 11098.zip
├── mesh (441 reconstructed models)
│   ├── 00004.ply
│   ├── 00033.ply
│   ├── ...
│   ├── 10548.ply
│   └── 10664.ply
└── video (10,933 videos created from images)
    ├── 00001.mp4
    ├── 00002.mp4
    ├── ...
    ├── 11097.mp4
    └── 11098.mp4

データセットのサイズ: データセット全体のサイズは約 4TB です。
RGBD スキャン: 10,933 の RGBD スキャンがあります。各スキャンには複数の RGBD イメージが含まれます。
メッシュ: 441 の再構築されたメッシュモデルがあります。
ビデオ: RGBD 画像から作成された 10,933 個のビデオがあります。
カテゴリ: 9,131 の RGBD スキャンが 320 のカテゴリに分類されます。各スキャンには最大 1 つのカテゴリがあります。

使用例

 import redwood_3dscan as rws

# Print RGBD scans (list)
print ( rws . rgbds )

# Print meshes (list)
print ( rws . meshes )

# Print categories (dict: string->list)
print ( rws . categories )

# Print all scan_id of the "sofa" category
print ( rws . categories [ "sofa" ])

# Download by scan_id "00033"
# Download will be skipped if the resource is unavailable
# e.g. some RGBD images may not come with mesh.
rws . download_rgbd ( "00033" )  # Save to data/rgbd/00033.zip, if available
rws . download_mesh ( "00033" )  # Save to data/mesh/00033.ply, if available
rws . download_video ( "00033" ) # Save to data/video/00033.mp4, if available
rws . download_all ( "00033" )   # Downloads rgbd, mesh, and video together

# Download by category "sofa"
rws . download_category ( "sofa" )

Open3D を使用してモデルをロードして視覚化できます。

 # For installation guides, see:
# http://www.open3d.org/docs/release/getting_started.html
pip install open3d

 import redwood_3dscan as rws
import open3d as o3d

rws . download_mesh ( "00033" )
mesh = o3d . io . read_triangle_mesh ( "data/mesh/00033.ply" )
mesh . compute_vertex_normals ()
o3d . visualization . draw_geometries ([ mesh ])

Open3D ビジュアライザー

ライセンス

RGB-D スキャンと再構成モデルの両方を含むデータセット全体はパブリックドメインにあります。データセットのどの部分も、適切な帰属を明示した上で、あらゆる目的に使用できます。データを使用する場合は、当社の技術レポートを引用してください。

 @article { Choi2016 ,
          author    = { Sungjoon Choi and Qian-Yi Zhou and Stephen Miller and Vladlen Koltun } ,
          title     = { A Large Dataset of Object Scans } ,
          journal   = { arXiv:1602.02481 } ,
          year      = { 2016 } ,
        }

ファイル形式

RGB-D シーケンスは、PrimeSense Carmine カメラで取得されました。解像度は640×480、フレームレートは30Hzです。各スキャンは、JPG として保存された連続カラーイメージと 16 ビット PNG として保存された深度イメージを含む zip アーカイブにパッケージ化されます。ピクセル値はミリメートル単位で深度を表します。ファイル名の最初の部分はフレーム番号を示し、2 番目の部分はマイクロ秒単位のタイムスタンプを示します。

焦点距離は両軸とも 525、主点は (319.5、239.5) です。深度画像はカラー画像に登録されます。

再構築されたモデルはすべて PLY ファイル形式です。

拡大する

追加情報