紙|アルクシブ| NVS コード|プロジェクトページ
MegaScenes データセットは、約 430,000 のシーン、900 万の画像、およびエピポーラ ジオメトリの広範なコレクションであり、これらの 200 万の画像から 100,000 を超える構造から動きを再構築したものを特徴としています。これらのシーンの画像は、さまざまな時間帯、さまざまな天候や照明などのさまざまな条件下で、また、固有のカメラを備えたさまざまなデバイスから撮影されます。
ブラウザで再構成を表示するには、 Web ビューアを参照してください。
MegaScenes のデータシートはここで提供されています。
私たちのデータセットや論文が役立つと思われる場合は、引用することを検討してください。
@inproceedings {
tung2024megascenes,
title = { MegaScenes: Scene-Level View Synthesis at Scale } ,
author = { Tung, Joseph and Chou, Gene and Cai, Ruojin and Yang, Guandao and Zhang, Kai and Wetzstein, Gordon and Hariharan, Bharath and Snavely, Noah } ,
booktitle = { ECCV } ,
year = { 2024 }
}MegaScenes データセットは、AWS オープン データ スポンサーシップ プログラムのおかげで Amazon S3 でホストされています。
具体的には、MegaScenes は、 US-West-2 AWS リージョンの AWS S3 バケット URL s3://megascenes/使用します。
すべてのファイルは個別にダウンロードできます。これらは.tarまたは.zipファイルに分割されません。
ユーザーは、s5cmd または AWS CLI を使用してデータセットにアクセスできます。これらは、AWS 上のデータセットにアクセスできる、ローカルにインストールされたコマンドライン インターフェイスです。どちらの CLI にも非常に似たコマンドがあるため、s5cmd コマンドは通常、プレフィックスs5cmd aws s3に置き換えることによって AWS CLI コマンドに変換できます。
このセクションでは、いくつかの s5cmd コマンドを共有します。
ファイルまたはディレクトリを AWS からローカル ディスクにコピーするには、次のコマンドを使用します: s5cmd --no-sign-request cp
あるいは、 cpの代わりにsync使用することもできます。 syncさらに、AWS とローカルにダウンロードされたデータセット間の差異をチェックします。
重要
ソース URL がディレクトリの場合は、ワイルドカード ( * ) が必要です。
このコマンドは、データセット全体をMegaScenes/というローカル フォルダーにダウンロードします。
s5cmd --no-sign-request cp s3://megascenes/* ./MegaScenes/
このコマンドは、 imagesフォルダーの内容を AWS からローカル フォルダーMegaScenes/images/に再帰的にダウンロードします。
s5cmd --no-sign-request cp s3://megascenes/images/* ./MegaScenes/images/
このコマンドは、特定のdatabase.dbファイルを AWS からそれぞれのローカル フォルダーにダウンロードします。
s5cmd --no-sign-request cp s3://megascenes/databases/main/000/000/database.db ./MegaScenes/databases/main/000/000/database.db
s5cmd を使用して、ダウンロードする MegaScenes のサブセットを定義することができます。これは、s5cmd コマンドのテキスト ファイルを使用してs5cmd runことで行われます。詳細については、複数のコマンドの並列実行に関する s5cmd のドキュメントを参照してください。
AWS 上のディレクトリの内容を一覧表示する: s5cmd --no-sign-request ls このコマンドは、ローカル マシンにダウンロードする前に、各ディレクトリにどのような項目があるかを確認するのに役立ちます。
このコマンドは、AWS 上のdatabase/サブフォルダーの内容を一覧表示します。
入力：
s5cmd --no-sign-request ls s3://megascenes/databases/
出力：
DIR descriptors/
DIR main/
--no-sign-requestフラグは、ユーザーが AWS 認証情報を作成して指定しなくても AWS バケットにアクセスできるようにするためのものです。
他のコマンドについては、s5cmd または AWS CLI のドキュメントを参照してください。
単一のファイルは、ベース URL https://megascenes.s3.us-west-2.amazonaws.com/を使用して、HTTP 経由 ( wgetまたはcurl経由) でダウンロードできます。
たとえば、 https://megascenes.s3.us-west-2.amazonaws.com/metadata/subcat/000/007/subcats.json は、 scene-ID 7のサブカテゴリ情報の直接ダウンロードです。
バケットのディレクトリ ツリーは次のとおりです。
s3://megascenes/またはhttps://megascenes.s3.us-west-2.amazonaws.com/databases/main/000/000/ 。 。 。 458/152/descriptors/000/000/ 。 。 。 458/152/images/000/000/ 。 。 。 458/152/metadata/subcat/000/000/ 。 。 。 458/148/wikidata/0/0/0/ 。 。 。 9/9/9/ 、 other/reconstruct/000/000/ 。 。 。 458/150/README.mdシーンは、該当するサブディレクトリのシーン フォルダーで説明されているように、ゼロが埋め込まれた 6 桁のシーン ID 番号で表されます。シーン名をシーン ID にリンクするディレクトリは、 s3://megascenes/metadata/categories.jsonにあります。サブフォルダーの内容の詳細については、以下の各セクションを参照してください。
databases/ディレクトリこのディレクトリには、各シーンの COLMAP データベースが格納されます。 COLMAP データベースには、画像、キーポイント、記述子、一致、および推定された 2 ビュー ジオメトリに関する表形式の情報が含まれています。 COLMAP データベースは SQLite 形式を使用します。
database/ディレクトリは 2 つのサブディレクトリに分かれています。
main/ (1.9 TB)、 database.dbファイルが含まれますdescriptors/ (圧縮 6.8 TB、非圧縮 8.3 TB)、 descriptors.db.gzファイルが含まれます上記の 2 つのサブディレクトリでは、「シーン フォルダー」で説明されているように、シーンはシーン ID 番号で表されます。
シーンごとに、COLMAP データベースは 2 つのファイルに分割されます。
database.db 、これは Descriptors テーブルのない COLMAP データベースです。descriptors.db.gz : COLMAP データベースから独自の SQLite データベースとして抽出された Descriptors テーブルです。 gzipで圧縮してあります。Descriptors テーブルは COLMAP データベース内のスペースの大部分を占め、特定のアプリケーションに関連する情報が含まれていない可能性があるため、Descriptors テーブルを分離しました。
ID 1234のシーンの場合、データベース ファイルは次のとおりです。
databases/main/001/234/database.dbdatabases/descriptors/001/234/descriptors.db.gzimages/ディレクトリこのディレクトリには、各シーンの画像と画像メタデータが格納されます。 「シーン フォルダー」で説明されているように、シーンはシーン ID 番号で表されます。
images/ディレクトリは 3.2 TB です。
シーンには任意の数のサブカテゴリを含めることができます。各サブカテゴリには、画像、 raw_metadata.json 、 category.json 、および0/category.jsonが含まれています。
画像のメタデータはraw_metadata.jsonで表されます。この json には、各イメージ名のキーが含まれており、EXIF データやライセンス情報など、ウィキメディア コモンズから抽出されたさまざまなデータの情報が含まれています。
シーンのサブカテゴリ名はsubcategory_name/category.jsonにあります。
イメージ名のリストはsubcategory_name/0/category.jsonにあります。
ID 1234のシーンの場合、画像ファイルは次のとおりです。
images/001/234/commons/subcategory_name_1/category.jsonraw_metadata.json0/category.jsonpictures/image1.jpgimage2.jpgsubcategory_name_2/category.jsonraw_metadata.json0/category.jsonpictures/image1.jpgimage2.jpgmetadata/ディレクトリこのディレクトリには、データセットのメタデータが格納されます。
metadata/ディレクトリには次の内容が含まれます。
subcat/ (386 MB)。少なくとも 1 つのサブカテゴリを持つシーンのサブカテゴリ情報の JSON ファイルが含まれるディレクトリです。wikidata/ (4.5 GB)。シーンまたはその階層クラスに関連するすべての Wikidata エントリの JSON ファイルが含まれるディレクトリです。categories.json (19.2 MB)、ウィキメディア コモンズのカテゴリ名をシーン ID にマップする辞書です。images_index.parquet (~230 MB)、MegaScenes 内のすべての画像の表形式のインデックスです。サブカテゴリ情報はmetadata/subcat/ディレクトリにあります。このディレクトリは、「シーン フォルダー」で説明されているように、シーン ID 番号によって編成されます。
シーンは、メイン カテゴリ以外に少なくとも 1 つのカテゴリがある場合にのみ、 metadata/subcat/に存在します。このようなシーンには、サブカテゴリ データを表すsubcats.jsonが含まれます。
subcats.jsonファイルは、次のフィールドを含む辞書です。
main_category : ウィキメディア コモンズのトップレベル カテゴリの名前の文字列。graph : ウィキメディア コモンズ カテゴリをその直接のサブカテゴリのリストにマッピングする辞書。カテゴリは、訪問されたことがある場合、 graphのキーになります。空のリストは、カテゴリにサブカテゴリがないことを意味します。frontier : graph内に独自のキーを持つように拡張されていない、 graph内に存在するサブカテゴリのリスト。 カテゴリ Arco degli Argentari のシーン ID は7です。このシーンのサブカテゴリ情報はs3://megascenes/metadata/subcat/000/007/subcats.jsonにあり、次の内容が含まれます。
{
"main_category": "Arco_degli_Argentari",
"graph": {
"Arco_degli_Argentari": [
"Arco_degli_Argentari_in_art",
"Historical_images_of_the_Arco_degli_Argentari"
],
"Arco_degli_Argentari_in_art": [],
"Historical_images_of_the_Arco_degli_Argentari": [
"Arco_degli_Argentari_in_art"
]
},
"frontier": []
}
ここのグラフは、メイン カテゴリ Arco degli Argentari に 2 つのサブカテゴリ (「芸術における Arco degli Argentari」と「Arco degli Argentari の歴史的画像」) があることを示しています。芸術のカテゴリ Arco degli Argentari にはサブカテゴリがないため、空のリストになります。対照的に、カテゴリ「Arco degli Argentari の歴史的画像」には、アートのサブカテゴリ「Arco degli Argentari」があります。
フロンティア リストは空です。これは、このサブカテゴリ グラフ全体が展開されていることを意味します。
MegaScenes の画像にインデックスを付けるテーブルをs3://megascenes/metadata/images_index.parquet (HTTPS ダウンロード) (~230 MB) で提供します。 Parquet ファイルには CSV ファイルと同様に表形式のデータが保存されますが、よりコンパクトで読み取りが高速です。これらは、Polars (推奨) や Pandas などの Python データフレーム ライブラリを使用して読み取ることができます。このテーブルには 800 万を超える行が含まれており、各行はデータセット内の画像を表しています。列は次のとおりです。
画像の各ウィキメディア コモンズ ページは、URL https://commons.wikimedia.org/wiki/File:{image_name}にあります。同様に、カテゴリの各ウィキメディア コモンズ ページは、URL https://commons.wikimedia.org/wiki/Category:{cat or subcat}にあります。
この表にはウィキメディア コモンズから解析されたライセンス情報が含まれていますが、ユーザー自身が画像ライセンスを確認することをお勧めします。
wikidata/サブカテゴリは Wikidata Q-ID によって編成されます。 Q-ID の最初の 3 桁は、Wikidata の JSON 情報が含まれる 3 つのサブフォルダーを定義します。Q-ID の桁が 3 桁未満の場合、その JSON はother/フォルダーにあります。シーン ID とは異なり、この番号にはゼロが埋め込まれません。
Q-ID Q1234のウィキデータ アイテムの JSON はmetadata/wikidata/1/2/3/Q1234.jsonにあります。
Q-ID Q12のウィキデータ アイテムの JSON はmetadata/wikidata/other/Q12.jsonにあります。
JSON ドキュメントについては、Wikibase JSON のこのページを参照してください。
この JSON を解析するための追加ツールについては、データ アクセスに関するウィキデータのページを参照してください。
reconstruct/ディレクトリこのディレクトリには、各シーンの COLMAP スパース点群再構築が含まれています。 「シーン フォルダー」で説明されているように、 reconstruct/ディレクトリはシーン ID 番号に従ってシーンごとに編成されます。各再構築は、ここで説明されているように、 images.bin 、 cameras.bin 、およびpoints3D.binで構成されます。シーンには 0 個以上の再構成が含まれる場合があります。 reconstruct/フォルダーには 1 つ以上のシーンのみが含まれます。
reconstruct/フォルダーは 429 GB です。
ID 1234のシーンに 3 つの再構築があるとします。このシーンのsparses/フォルダーには、 0から2までの番号が付けられた 3 つのフォルダーがあります。
具体的には以下のような形式となります。
reconstruct/001/234/sparses/0/images.bincameras.binpoints3D.bin1/images.bincameras.binpoints3D.bin2/images.bincameras.binpoints3D.binMegaScenes のまばらな再構成は、Web ビューアを使用して表示できます。
あるいは、COLMAP GUI を使用して再構築をローカルに表示することもできます (COLMAP のインストールが必要です)。
再構築は、COLMAP リポジトリの read_write_model.py スクリプトを使用して Python でロードできます。具体的には、役に立つ関数は次のとおりです: read_model 、 read_points3D_binary 、 read_images_binary 、 read_cameras_binary
データセットは 2 つのサブフォルダーのシステムを使用してシーンを分割し、各シーンにはシーン ID 番号があります。最初のサブフォルダーは、6 桁のゼロ埋めされたシーン ID の最初の 3 桁を使用します。 2 番目のサブフォルダーは最後の 3 桁を使用します。シーンに関連付けられたデータは、後者のサブフォルダーにあります。
例えば：
533の場合、 000533にゼロが埋め込まれます。この番号はディレクトリ000/533/に変換されます。422678の場合、ディレクトリ422/678/に変換されます。各シーンはウィキメディア コモンズのカテゴリに基づいています。たとえば、シーン「Arc_de_Triomphe_de_l'Étoile」では、Category:Arc de Triomphe de l'Étoile とそのサブカテゴリの画像が使用されています。 MegaScenes ではシーン名にスペースの代わりにアンダースコアを使用しますが、Wikimedia Commons URL で使用する場合はアンダースコアを置き換えることができます。
ファイルs3://megascenes/metadata/categories.json (HTTP リンク) は、カテゴリ名をシーン ID にリンクします。
間違った再構成を見つけた場合、またはデータセットの改善が必要な場合は、GitHub の問題またはディスカッション投稿を作成してください。
このデータセットは、クリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされています。 images/フォルダー内の写真には独自のライセンスがあります。
