Kertas | Arxiv | Kode NVS | Halaman Proyek
Kumpulan Data MegaScenes adalah koleksi ekstensif sekitar 430 ribu pemandangan dan 9 juta gambar serta geometri epipolar, yang menampilkan lebih dari 100 ribu rekonstruksi struktur-dari-gerak dari 2 juta gambar tersebut. Gambar dari pemandangan ini diambil dalam kondisi yang berbeda-beda, termasuk waktu yang berbeda, cuaca dan pencahayaan yang berbeda, dan dari perangkat yang berbeda dengan intrinsik kamera yang berbeda.
Untuk melihat rekonstruksi di browser, lihat Web Viewer kami!
Kami menyediakan lembar data untuk MegaScenes di sini .
Jika Anda merasa kumpulan data atau makalah kami berguna, mohon pertimbangkan untuk mengutipnya
@inproceedings {
tung2024megascenes,
title = { MegaScenes: Scene-Level View Synthesis at Scale } ,
author = { Tung, Joseph and Chou, Gene and Cai, Ruojin and Yang, Guandao and Zhang, Kai and Wetzstein, Gordon and Hariharan, Bharath and Snavely, Noah } ,
booktitle = { ECCV } ,
year = { 2024 }
}Kumpulan Data MegaScenes dihosting di Amazon S3 berkat Program Sponsor Data Terbuka AWS.
Secara khusus, MegaScenes menggunakan URL bucket AWS S3 s3://megascenes/ di Wilayah AWS US-West-2 .
Semua file dapat diunduh satu per satu . Mereka tidak dikelompokkan menjadi file .tar atau .zip .
Pengguna dapat mengakses dataset menggunakan s5cmd atau AWS CLI. Ini adalah antarmuka baris perintah yang diinstal secara lokal yang dapat mengakses kumpulan data di AWS. Kedua CLI memiliki perintah yang sangat mirip, sehingga perintah s5cmd biasanya dapat dikonversi menjadi perintah AWS CLI dengan mengganti awalan s5cmd dengan aws s3 .
Di bagian ini, kami akan membagikan beberapa perintah s5cmd.
Untuk menyalin file atau direktori dari AWS ke disk lokal, gunakan perintah ini: s5cmd --no-sign-request cp
Alternatifnya, sync dapat digunakan sebagai pengganti cp . sync juga memeriksa perbedaan antara AWS dan kumpulan data yang diunduh secara lokal.
Penting
Jika URL sumber berupa direktori, maka URL tersebut harus memiliki wildcard ( * ).
Perintah ini akan mengunduh seluruh kumpulan data ke folder lokal bernama MegaScenes/ .
s5cmd --no-sign-request cp s3://megascenes/* ./MegaScenes/
Perintah ini secara rekursif mengunduh konten folder images dari AWS ke folder lokal MegaScenes/images/ :
s5cmd --no-sign-request cp s3://megascenes/images/* ./MegaScenes/images/
Perintah ini mengunduh file database.db tertentu dari AWS ke dalam folder lokalnya masing-masing:
s5cmd --no-sign-request cp s3://megascenes/databases/main/000/000/database.db ./MegaScenes/databases/main/000/000/database.db
Dimungkinkan untuk menggunakan s5cmd untuk menentukan subset MegaScenes yang akan diunduh; ini dilakukan dengan s5cmd run dengan file teks perintah s5cmd. Untuk informasi lebih lanjut, lihat dokumentasi s5cmd tentang menjalankan beberapa perintah secara paralel.
Daftar isi direktori di AWS: s5cmd --no-sign-request ls Perintah ini berguna untuk melihat item apa saja yang ada di setiap direktori sebelum mengunduhnya ke mesin lokal.
Perintah ini mencantumkan isi database/ subfolder di AWS.
Masukan:
s5cmd --no-sign-request ls s3://megascenes/databases/
Keluaran:
DIR descriptors/
DIR main/
Tanda --no-sign-request adalah agar pengguna dapat mengakses bucket AWS tanpa perlu membuat dan menyediakan kredensial AWS.
Untuk perintah lainnya, silakan lihat dokumentasi s5cmd atau AWS CLI.
File tunggal dapat diunduh melalui HTTP (melalui wget atau curl ) menggunakan URL dasar https://megascenes.s3.us-west-2.amazonaws.com/ .
Misalnya, https://megascenes.s3.us-west-2.amazonaws.com/metadata/subcat/000/007/subcats.json adalah unduhan langsung untuk informasi subkategori untuk scene-ID 7 .
Pohon direktori bucket adalah sebagai berikut:
s3://megascenes/ atau https://megascenes.s3.us-west-2.amazonaws.com/databases/main/000/000/ . . . 458/152/descriptors/000/000/ . . . 458/152/images/000/000/ . . . 458/152/metadata/subcat/000/000/ . . . 458/148/wikidata/0/0/0/ . . . 9/9/9/ , other/reconstruct/000/000/ . . . 458/150/README.md Sebuah adegan diwakili oleh enam digit nomor ID adegan yang diisi nol seperti yang dijelaskan dalam Folder Pemandangan di subdirektori yang berlaku. Direktori yang menghubungkan nama adegan ke ID adegan dapat ditemukan di: s3://megascenes/metadata/categories.json . Untuk rincian tentang isi subfolder, lihat masing-masing bagian di bawah.
databases/ DirektoriDirektori ini menampung database COLMAP untuk setiap adegan. Basis data COLMAP berisi informasi tabulasi tentang gambar, titik kunci, deskriptor, kecocokan, dan perkiraan geometri dua tampilan. Basis data COLMAP menggunakan format SQLite.
Direktori database/ dipecah menjadi dua subdirektori:
main/ (1,9 TB), yang berisi file database.dbdescriptors/ (6,8 TB terkompresi, 8,3 TB tidak terkompresi), yang berisi file descriptors.db.gzDalam dua subdirektori di atas, sebuah adegan diwakili oleh nomor ID adegannya seperti yang dijelaskan dalam Folder Adegan.
Untuk setiap adegan, database COLMAP dipartisi menjadi dua file:
database.db , yang merupakan database COLMAP tanpa tabel Descriptors.descriptors.db.gz , yang merupakan tabel Descriptors yang diekstraksi dari database COLMAP sebagai database SQLite-nya sendiri. Itu dikompresi dengan gzip.Kami memisahkan tabel Deskriptor karena tabel ini memakan sebagian besar ruang di database COLMAP, dan mungkin tidak berisi informasi yang relevan untuk aplikasi tertentu.
Untuk adegan dengan ID 1234 , file databasenya adalah sebagai berikut:
databases/main/001/234/database.dbdatabases/descriptors/001/234/descriptors.db.gzimages/ DirektoriDirektori ini menampung gambar dan metadata gambar untuk setiap adegan. Sebuah adegan diwakili oleh nomor ID adegannya seperti yang dijelaskan dalam Folder Adegan.
Direktori images/ berukuran 3,2 TB.
Sebuah adegan dapat memiliki sejumlah subkategori. Setiap subkategori berisi gambar, raw_metadata.json , category.json , dan 0/category.json .
Metadata gambar diwakili dalam raw_metadata.json . Json ini berisi kunci untuk setiap nama gambar, dan berisi informasi berbagai data yang diambil dari Wikimedia Commons, termasuk data EXIF dan informasi lisensi.
Nama subkategori adegan berada di subcategory_name/category.json .
Daftar nama gambar berada di subcategory_name/0/category.json .
Untuk adegan dengan ID 1234 , file gambarnya adalah sebagai berikut:
images/001/234/commons/subcategory_name_1/category.jsonraw_metadata.json0/category.jsonpictures/image1.jpgimage2.jpgsubcategory_name_2/category.jsonraw_metadata.json0/category.jsonpictures/image1.jpgimage2.jpgmetadata/ DirektoriDirektori ini menampung metadata untuk kumpulan data.
Direktori metadata/ memiliki konten berikut:
subcat/ (386 MB), yaitu direktori yang berisi file JSON informasi subkategori untuk adegan dengan setidaknya satu subkategoriwikidata/ (4,5 GB), yang merupakan direktori berisi berkas JSON untuk semua entri Wikidata yang berkaitan dengan suatu adegan atau kelas hierarkinyacategories.json (19,2 MB), yang merupakan kamus yang memetakan nama kategori Wikimedia Commons ke ID adegan.images_index.parquet (~230 MB), yang merupakan indeks tabel semua gambar di MegaScenes Informasi subkategori berada di direktori metadata/subcat/ . Direktori ini diatur berdasarkan nomor ID adegan seperti yang dijelaskan dalam Folder Adegan.
Sebuah adegan hadir dalam metadata/subcat/ hanya jika adegan tersebut memiliki setidaknya satu kategori selain kategori utama. Adegan seperti itu akan memiliki subcats.json untuk mewakili data subkategori.
File subcats.json adalah kamus yang berisi bidang berikut:
main_category : rangkaian nama kategori tingkat atas Wikimedia Commons.graph : kamus yang memetakan kategori Wikimedia Commons ke daftar subkategori langsungnya. Suatu kategori akan menjadi kunci dalam graph jika sudah dikunjungi. Daftar kosong berarti kategori tersebut tidak memiliki subkategori.frontier : daftar subkategori yang ada di graph yang belum diperluas untuk memiliki kuncinya sendiri di graph . Kategori Arco degli Argentari memiliki ID adegan 7 . Informasi subkategori untuk adegan ini ada di s3://megascenes/metadata/subcat/000/007/subcats.json , dan memiliki konten berikut:
{
"main_category": "Arco_degli_Argentari",
"graph": {
"Arco_degli_Argentari": [
"Arco_degli_Argentari_in_art",
"Historical_images_of_the_Arco_degli_Argentari"
],
"Arco_degli_Argentari_in_art": [],
"Historical_images_of_the_Arco_degli_Argentari": [
"Arco_degli_Argentari_in_art"
]
},
"frontier": []
}
Di sini, grafik menunjukkan bahwa kategori utama Arco degli Argentari memiliki dua subkategori: Arco degli Argentari dalam seni dan Gambar sejarah Arco degli Argentari. Kategori Arco degli Argentari dalam seni tidak memiliki subkategori, sehingga daftarnya kosong. Sebaliknya, kategori Gambar sejarah Arco degli Argentari mempunyai subkategori Arco degli Argentari dalam seni.
Daftar frontier kosong, artinya grafik subkategori ini diperluas secara keseluruhan.
Kami menyediakan tabel yang mengindeks gambar di MegaScenes di s3://megascenes/metadata/images_index.parquet (unduhan HTTPS) (~230 MB). File parket menyimpan data tabular seperti file CSV, namun lebih ringkas dan cepat dibaca. Mereka dapat dibaca menggunakan pustaka kerangka data Python, seperti Polars (disarankan) atau Pandas. Tabel ini berisi lebih dari 8 juta baris, masing-masing mewakili gambar dalam kumpulan data. Kolomnya adalah:
Halaman Wikimedia Commons masing-masing untuk sebuah gambar ada di URL https://commons.wikimedia.org/wiki/File:{image_name} . Demikian pula, halaman Wikimedia Commons untuk suatu kategori ada di URL https://commons.wikimedia.org/wiki/Category:{cat or subcat} .
Meskipun tabel ini berisi informasi lisensi yang diuraikan dari Wikimedia Commons, kami mendorong pengguna untuk memverifikasi sendiri lisensi gambar tersebut.
Subkategori wikidata/ diatur oleh Wikidata Q-ID. Tiga digit pertama Q-ID menentukan tiga subfolder tempat informasi JSON Wikidata dapat ditemukan. Jika Q-ID memiliki kurang dari tiga digit, maka JSON-nya berada di folder other/ . Berbeda dengan ID adegan, nomor ini TIDAK diberi bantalan nol.
JSON untuk butir Wikidata dengan Q-ID Q1234 terletak di metadata/wikidata/1/2/3/Q1234.json .
JSON untuk item Wikidata dengan Q-ID Q12 terletak di metadata/wikidata/other/Q12.json .
Untuk dokumentasi JSON, lihat halaman ini di Wikibase JSON.
Untuk alat tambahan untuk mengurai JSON ini, lihat halaman Wikidata tentang Akses data.
reconstruct/ Direktori Direktori ini berisi rekonstruksi awan titik renggang COLMAP untuk setiap adegan. Direktori reconstruct/ disusun berdasarkan adegan, sesuai dengan nomor ID adegan seperti yang dijelaskan dalam Folder Adegan. Setiap rekonstruksi terdiri dari images.bin , cameras.bin , dan points3D.bin seperti yang dijelaskan di sini. Sebuah adegan mungkin tidak memiliki rekonstruksi sama sekali atau lebih; folder reconstruct/ hanya berisi adegan dengan satu atau lebih.
Folder reconstruct/ berukuran 429 GB.
Misalkan sebuah adegan dengan ID 1234 memiliki tiga rekonstruksi. Dalam folder sparses/ adegan ini, akan ada tiga folder bernomor 0 hingga 2 .
Secara khusus formatnya adalah sebagai berikut:
reconstruct/001/234/sparses/0/images.bincameras.binpoints3D.bin1/images.bincameras.binpoints3D.bin2/images.bincameras.binpoints3D.binRekonstruksi yang jarang terjadi di MegaScenes dapat dilihat menggunakan penampil web kami.
Alternatifnya, rekonstruksi dapat dilihat secara lokal menggunakan COLMAP GUI (memerlukan instalasi COLMAP).
Rekonstruksi dapat dimuat dengan Python menggunakan skrip read_write_model.py dari repositori COLMAP. Secara khusus, fungsi yang berguna adalah: read_model , read_points3D_binary , read_images_binary , read_cameras_binary
Kumpulan data menggunakan sistem dua subfolder untuk membagi adegan, di mana setiap adegan memiliki nomor ID adegan. Subfolder pertama menggunakan tiga digit pertama dari 6 digit ID adegan dengan bantalan nol. Subfolder kedua menggunakan tiga digit terakhir. Data yang terkait dengan adegan tersebut berada di subfolder terakhir.
Misalnya:
533 , adegan tersebut diberi bantalan nol ke 000533 . Nomor ini diterjemahkan ke direktori 000/533/ .422678 , itu diterjemahkan ke direktori 422/678/ .Setiap adegan didasarkan pada kategori dari Wikimedia Commons. Misalnya, adegan "Arc_de_Triomphe_de_l'Étoile" menggunakan gambar dari Kategori:Arc de Triomphe de l'Étoile dan subkategorinya. MegaScenes menggunakan garis bawah dan bukan spasi untuk nama adegan, namun dapat dipertukarkan bila digunakan di URL Wikimedia Commons.
File s3://megascenes/metadata/categories.json (HTTP Link) menghubungkan nama kategori ke ID adegan.
Jika Anda menemukan rekonstruksi yang salah atau ada perbaikan pada kumpulan data, silakan buat postingan masalah atau diskusi GitHub.
Kumpulan data ini dilisensikan di bawah Lisensi Internasional Creative Commons Attribution 4.0. Foto-foto di folder images/ memiliki lisensinya sendiri.
