Линнинг Сюй · Васу Агравал · Уильям Лэйни · Тони Гарсия · Ааюш Бансал
Чангил Ким · Самуэль Рота Було · Лоренцо Порци · Петер Кончидер
Альяж Божич · Дахуа Лин · Михаэль Цольхёфер · Кристиан Рихардт
ACM SIGGRAPH Азия 2023
| Сцена | версия | камеры | позиция | изображение | 2К EXR | 1К EXR | 8К+ JPEG-файлы | 4К JPEG-файлы | 2К JPEG-файлы | 1К JPEG-файлы |
|---|---|---|---|---|---|---|---|---|---|---|
| квартира | v2 | 22 | 180 | 3960 | 123 ГБ | 31 ГБ | 92 ГБ | 20 ГБ | 5 ГБ | 1,2 ГБ |
| кухня | версия 2* | 19 | 318 | 6024 | 190 ГБ | 48 ГБ | 142 ГБ | 29 ГБ | 8 ГБ | 1,9 ГБ |
| офис1а | v1 | 9 | 85 | 765 | 24 ГБ | 6 ГБ | 15 ГБ | 3 ГБ | 1 ГБ | 0,2 ГБ |
| офис1б | v2 | 22 | 71 | 1562 | 49 ГБ | 13 ГБ | 35 ГБ | 7 ГБ | 2 ГБ | 0,4 ГБ |
| офис2 | v1 | 9 | 233 | 2097 | 66 ГБ | 17 ГБ | 46 ГБ | 9 ГБ | 2 ГБ | 0,5 ГБ |
| office_view1 | v2 | 22 | 126 | 2772 | 87 ГБ | 22 ГБ | 63 ГБ | 14 ГБ | 4ГБ | 0,8 ГБ |
| office_view2 | v2 | 22 | 67 | 1474 | 47 ГБ | 12 ГБ | 34 ГБ | 7 ГБ | 2 ГБ | 0,5 ГБ |
| вид на реку | v2 | 22 | 48 | 1008 | 34 ГБ | 8 ГБ | 24 ГБ | 5 ГБ | 2 ГБ | 0,4 ГБ |
| зона отдыха | v1 | 9 | 168 | 1512 | 48 ГБ | 12 ГБ | 36 ГБ | 8 ГБ | 2 ГБ | 0,5 ГБ |
| стол | v1 | 9 | 134 | 1206 | 38 ГБ | 9 ГБ | 26 ГБ | 6 ГБ | 2 ГБ | 0,4 ГБ |
| мастерская | v1 | 9 | 700 | 6300 | 198 ГБ | 50 ГБ | 123 ГБ | 27 ГБ | 8 ГБ | 2,1 ГБ |
| raf_emptyroom | v2 | 22 | 365 | 8030 | 252 ГБ | 63 ГБ | 213 ГБ | 45 ГБ | 12 ГБ | 2,5 ГБ |
| raf_furnishedroom | v2 | 22 | 154 | 3388 | 106 ГБ | 27 ГБ | 90 ГБ | 19 ГБ | 5 ГБ | 1,1 ГБ |
| Общий | 1262 ГБ | 318 ГБ | 939 ГБ | 199 ГБ | 54 ГБ | 12,5 ГБ |
* Версия 2 с на 3 камеры меньше, чем в стандартной конфигурации, т.е. всего 19 камер.
Апрель 2024 г.: Следующие две сцены сопровождают нашу статью «Реальные акустические поля» (CVPR 2024):
Все изображения в наборе данных были сняты с помощью Eyeful Tower v1 или v2 (как указано в обзорной таблице). Eyeful Tower v1 включает 9 камер типа «рыбий глаз», а Eyeful Tower v2 — 22 камеры-обскуры (19 для «кухни»).
Набор данных Eyeful Tower размещается на AWS S3, и его можно просмотреть с помощью любого браузера или загрузить с помощью стандартного программного обеспечения, такого как wget или Curl.
Однако для максимально быстрой и надежной загрузки мы рекомендуем использовать интерфейс командной строки AWS (AWS CLI), см. инструкции по установке AWS CLI.
Необязательно: Ускорьте загрузку, увеличив количество одновременных загрузок с 10 до 100:
aws configure set default.s3.max_concurrent_requests 100
aws s3 cp --recursive --no-sign-request s3://fb-baas-f32eacb9-8abb-11eb-b2b8-4857dd089e15/EyefulTower/apartment/images-jpeg-1k/ apartment/images-jpeg-1k/
Альтернативно, используйте « sync », чтобы избежать передачи существующих файлов:
aws s3 sync --no-sign-request s3://fb-baas-f32eacb9-8abb-11eb-b2b8-4857dd089e15/EyefulTower/apartment/images-jpeg-1k/ apartment/images-jpeg-1k/
Тем, кто хочет поэкспериментировать с конкретными камерами, рекомендуем сначала просмотреть видео-коллаж. Это поможет вам определить, какие виды камеры вы хотели бы использовать. Например, для этой сцены в квартире с использованием устройства захвата v2 вы можете рассмотреть идентификаторы камер 19, 20, 21, которые расположены на одной высоте.
для набора данных в квартире кухня office1a office1b office2 office_view1 office_view2 вид на реку зона отдыха стол мастерская; делать mkdir -p $dataset/images-jpeg-1k; aws s3 cp --recursive --no-sign-request s3://fb-baas-f32eacb9-8abb-11eb-b2b8-4857dd089e15/EyefulTower/$dataset/images-jpeg-1k/ $dataset/images-jpeg-1k /;сделанный
aws s3 sync --no-sign-request s3://fb-baas-f32eacb9-8abb-11eb-b2b8-4857dd089e15/EyefulTower/ .
Каждая сцена организована по следующей структуре:
apartment │ ├── apartment-final.pdf # Metashape reconstruction report ├── cameras.json # Camera poses in KRT format (see below) ├── cameras.xml # Camera poses exported from Metashape ├── colmap # COLMAP reconstruction exported from Metashape │ ├── images # Undistorted images (full resolution) │ ├── images_2 # Undistorted images (1/2 resolution) │ ├── images_4 # Undistorted images (1/4 resolution) │ ├── images_8 # Undistorted images (1/8 resolution) │ └── sparse # COLMAP reconstruction (for full-res images) ├── images-1k # HDR images at 1K resolution │ ├── 10 # First camera (bottom-most camera) │ │ ├── 10_DSC0001.exr # First image │ │ ├── 10_DSC0010.exr # Second image │ │ ├── [...] # More images │ │ └── 10_DSC1666.exr # Last image │ ├── 11 # Second camera │ │ ├── 11_DSC0001.exr │ │ ├── 11_DSC0010.exr │ │ ├── [...] │ │ └── 11_DSC1666.exr │ ├── [...] # More cameras │ └── 31 # Last camera (top of tower) │ ├── 31_DSC0001.exr │ ├── 31_DSC0010.exr │ ├── [...] │ └── 31_DSC1666.exr ├── images-2k [...] # HDR images at 2K resolution ├── images-jpeg [...] # Full-resolution JPEG images ├── images-jpeg-1k [...] # JPEG images at 1K resolution ├── images-jpeg-2k # JPEG images at 2K resolution │ ├── [10 ... 31] │ ├── [10 ... 31].mp4 # Camera visualization │ └── collage.mp4 # Collage of all cameras ├── images-jpeg-4k [...] # JPEG images at 4K resolution ├── mesh.jpg # Mesh texture (16K×16K) ├── mesh.mtl # Mesh material file ├── mesh.obj # Mesh in OBJ format └── splits.json # Training/testing splits
images-1k/{camera}/*.exr и images-2k/{camera}/*.exr )Изображения с расширенным динамическим диапазоном объединены из 9-фотографических брекетов необработанной экспозиции.
Разрешение понижено до разрешения «1K» (684×1024 пикселей) или «2K» (1368×2048 пикселей).
Цветовое пространство: DCI-P3 (линейное)
Хранится в виде изображений EXR с несжатыми 32-битными числами с плавающей запятой.
Все имена файлов изображений начинаются с имени камеры, например 17_DSC0316.exr .
Изображения с именами файлов, оканчивающимися на один и тот же номер, захватываются одновременно.
Некоторые изображения могут отсутствовать, например, из-за размытых изображений или изображений, на которых виден оператор захвата, которые были удалены.
import os, cv2, numpy as np# Включите поддержку OpenEXR в OpenCV (https://github.com/opencv/opencv/issues/21326).# Эту переменную среды необходимо определить до открытия первого образа EXR.os. environ["OPENCV_IO_ENABLE_OPENEXR"] = "1"# Считайте изображение EXR с помощью OpenCV.img = cv2.imread("apartment/images-2k/17/17_DSC0316.exr", cv2.IMREAD_UNCHANGED)# Примените масштабирование баланса белого (Примечание) : OpenCV использует цвета BGR).coeffs = np.array([0.726097, 1.0, 1.741252]) # apartment [RGB]img = np.einsum("ijk,k->ijk", img, coeffs[::-1] )# Карта тонов с использованием sRGB Curve.linear_part = 12,92 * imgexp_part = 1,055 * (np.maximum(img, 0,0) ** (1 / 2,4)) - 0,055img = np.where(img <= 0,0031308, linear_part, exp_part)# Запишите полученное изображение в виде JPEG.img = np.clip(255 * img, 0.0, 255.0).astype(np.uint8)cv2.imwrite("apartment-17_DSC0316.jpg", img, params=[cv2.IMWRITE_JPEG_QUALITY, 100] )images-jpeg*/{camera}/*.jpg )Мы предоставляем изображения JPEG с четырьмя уровнями разрешения:
images-jpeg/ : 5784 × 8660 = 50 мегапикселей — полное исходное разрешение изображения.
images-jpeg-4k/ : 2736 × 4096 = 11,2 мегапикселя
images-jpeg-2k/ : 1368 × 2048 = 2,8 мегапикселя
images-jpeg-1k/ : 684 × 1024 = 0,7 мегапикселя
Изображения JPEG представляют собой версии изображений HDR со балансом белого и тональной компрессией. Подробности смотрите в коде выше.
В каждой сцене используются настройки баланса белого, полученные из ColorChecker, которые индивидуально масштабируют каналы RGB следующим образом:
| Сцена | Масштабные коэффициенты RGB |
|---|---|
| квартира | 0.726097, 1.0, 1.741252 |
| кухня | 0.628143, 1.0, 2.212346 |
| офис1а | 0.740846, 1.0, 1.750224 |
| офис1б | 0.725535, 1.0, 1.839938 |
| офис2 | 0.707729, 1.0, 1.747833 |
| office_view1 | 1.029089, 1.0, 1.145235 |
| office_view2 | 0.939620, 1.0, 1.273549 |
| вид на реку | 1.077719, 1.0, 1.145992 |
| зона отдыха | 0.616093, 1.0, 2.426888 |
| стол | 0.653298, 1.0, 2.139514 |
| мастерская | 0.709929, 1.0, 1.797705 |
| raf_emptyroom | 0.718776, 1.0, 1.787020 |
| raf_furnishedroom | 0.721494, 1.0, 1.793423 |
cameras.json ) Этот файл JSON имеет базовую структуру {"KRT": [ , где каждый объект изображения имеет следующие свойства:
width : ширина изображения в пикселях (обычно 5784).
height : высота изображения в пикселях (обычно 8660).
cameraId : компонент имени файла для этого изображения (например, "0/0_REN0001" ); чтобы получить полный путь, используйте "{scene}/{imageFormat}/{cameraId}.{extension}" для:
scene : любое из 11 названий сцен,
imageFormat : один из "images-2k" , "images-jpeg-2k" , "images-jpeg-4k" или "images-jpeg"
extension : расширение файла, jpg для JPEG, exr для изображений EXR (HDR).
K : встроенная матрица камеры 3×3 для изображения с полным разрешением ( по столбцам )
T : матрица преобразования мира в камеру 4×4 ( по столбцам )
distortionModel : используемая модель искажения объектива:
"Fisheye" для изображений «рыбий глаз» (Eyeful v1)
"RadialAndTangential" для точечных изображений (Eyeful v2)
distortion : коэффициенты искажения объектива для использования с функцией OpenCV cv2.undistort
Примечание. Модель проекции представляет собой идеальную (эквидистантную) модель «рыбий глаз».
изображения «рыбий глаз» (Eyeful v1): [k1, k2, k3, _, _, _, p1, p2]
изображения-обскуры (Eyeful v2): [k1, k2, p1, p2, k3] (тот же порядок, что и cv2.undistort )
frameId : индекс позиции во время захвата (последовательные целые числа)
все изображения, снятые одновременно, имеют один и тот же frameId
sensorId : Идентификатор датчика Metashape ( также известного как камера) этого изображения.
все изображения, снятые одной камерой, имеют один и тот же sensorId
cameraMasterId (необязательно): идентификатор камеры Metashape для главной камеры (при калибровке установки) в этой позиции/кадре.
все изображения, снятые одновременно, имеют один и тот же cameraMasterId
sensorMasterId (необязательно): идентификатор датчика Metashape для главной камеры при калибровке установки.
должно иметь одинаковое значение для всех камер, кроме главной камеры (обычно "6" для Eyeful v1, "13" для Eyeful v2).
Мировая система координат: правая, y-вверх, y=0 — нулевая плоскость, единицы измерения — метры.
cameras.xml )Данные калибровки камеры экспортируются непосредственно из Metashape в собственном формате файла.
mesh.* )Текстурированная сетка в формате OBJ, экспортированная из Metashape и созданная на основе изображений JPEG с полным разрешением.
Мировая система координат: правая, y-вверх, y=0 — нулевая плоскость, единицы измерения — метры.
colmap/ )Эти реконструкции COLMAP экспортируются из наших исходных реконструкций с использованием Metashape 2.1.3 с параметрами по умолчанию.
Изображения в colmap/images были автоматически преобразованы из изображений в images-jpeg в точечные проекции с главной точкой в центре изображения.
Обратите внимание, что такое неискажение сильно обрезает изображения типа «рыбий глаз» и приводит к получению изображений разного размера для разных камер.
Изображения в colmap/images-* представляют собой уменьшенные версии неискаженных изображений с полным разрешением, аналогичные формату набора данных Mip-NeRF 360.
splits.json ) Содержит списки изображений для обучения ( "train" ) и тестирования ( "test" ).
Для тестирования предоставлены все изображения одной камеры: камеры 5 для Eyeful v1 и камеры 17 для Eyeful v2.
3 ноября 2023 г. – первый выпуск набора данных.
18 января 2024 г. — добавлены файлы EXR и JPEG с разрешением «1K» (684×1024 пикселей) для небольших экспериментов.
19 апреля 2024 г. — добавлены две комнаты из набора данных Real Acoustic Fields (RAF): raf_emptyroom и raf_furnishedroom .
9 октября 2024 г. — добавлены экспортированные реконструкции COLMAP с неискаженными изображениями в формате Mip-NeRF 360, например совместимые с gsplat.
Если вы используете какие-либо данные из этого набора данных или любой код, опубликованный в этом репозитории, ссылайтесь на документ VR-NeRF.
@InProceedings{VRNeRF, автор = {Линнинг Сюй и Васу Агравал, Уильям Лейни, Тони Гарсиа, Ааюш Бансал, Чангил Ким и Рота Було, Самуэль и Лоренцо Порци, Питер Кончидер, Альяж Божич, Дахуа Лин, Михаэль Зольхёфер и Кристиан Рихардт}, title = {{VR-NeRF}: Высококачественные виртуализированные пешеходные пространства}, booktitle = {Материалы азиатской конференции SIGGRAPH}, год = {2023}, doi = {10.1145/3610548.3618139}, url = {https://vr-nerf .github.io},
}Creative Commons Attribution-NonCommercial (CC BY-NC) 4.0, как указано в файле ЛИЦЕНЗИИ.
[Условия использования] [Политика конфиденциальности]
