IS MVSNet

IS-MVSNet (ECCV 2022)

Papel | Vídeo | Pesos

¡Nuestro artículo ha sido aceptado como artículo de conferencia en ECCV 2022!

ISMVSNet, también conocido como MVSNet basado en muestreo de importancia, es un método de reconstrucción de múltiples vistas simple pero efectivo.

Este repositorio proporciona una implementación de IS-MVSNet basada en Mindspore. Puede marcar y ver este repositorio para obtener más actualizaciones.

Instalación

 # Centos 7.9.2009 is recommended.
# CUDA == 11.1, GCC == 7.3.0, Python == 3.7.9
conda create -n ismvsnet python=3.7.9
conda install mindspore-gpu=1.7.0 cudatoolkit=11.1 -c mindspore -c conda-forge  # Install mindspore == 1.7.0
pip install numpy, opencv-python, tqdm, Pillow
conda activate ismvsnet

Modelo previamente entrenado

Las pesas previamente entrenadas para la columna vertebral ya se encuentran debajo de ./weights . Los pesos para las etapas 1 a 3 se pueden descargar desde los pesos previamente entrenados.

estructura de datos

 DATAROOT
└───data
|   └───tankandtemples
|       └───intermediate
|           └───Playground
|           │   └───rmvs_scan_cams
|           │       │   00000000_cam.txt
|           │       │   00000001_cam.txt
|           │       │   ...
|           │   └───images
|           │       │   00000000.jpg
|           │       │   00000001.jpg
|           │       │   ...
|           │   └───pair.txt
|           │   └───Playground.log
|           └───Family
|           └───...
|       └───advanced
└───weights
└───src
└───validate.py
└───point_cloud_generator.py

Predicción de profundidad

python validate.py

Las predicciones de profundidad se guardarán en 'resultados/{dataset_name}/{split}/profundidad'

Fusión de nubes de puntos

python point_cloud_generator.py

Las nubes de puntos fusionadas se guardarán en 'resultados/{dataset_name}/{split}/points'

Citación

Si cree que este repositorio es útil, considere citar nuestro artículo:

 @InProceedings{ismvsnet,
author="Wang, Likang
and Gong, Yue
and Ma, Xinjun
and Wang, Qirui
and Zhou, Kaixuan
and Chen, Lei",
editor="Avidan, Shai
and Brostow, Gabriel
and Ciss{'e}, Moustapha
and Farinella, Giovanni Maria
and Hassner, Tal",
title="IS-MVSNet:Importance Sampling-Based MVSNet",
booktitle="Computer Vision -- ECCV 2022",
year="2022",
publisher="Springer Nature Switzerland",
address="Cham",
pages="668--683",
abstract="This paper presents a novel coarse-to-fine multi-view stereo (MVS) algorithm called importance-sampling-based MVSNet (IS-MVSNet) to address a crucial problem of limited depth resolution adopted by current learning-based MVS methods. We proposed an importance-sampling module for sampling candidate depth, effectively achieving higher depth resolution and yielding better point-cloud results while introducing no additional cost. Furthermore, we proposed an unsupervised error distribution estimation method for adjusting the density variation of the importance-sampling module. Notably, the proposed sampling module does not require any additional training and works reasonably well with the pre-trained weights of the baseline model. Our proposed method leads to up to {$}{$}20{backslash}times {$}{$}20{texttimes}promotion on the most refined depth resolution, thus significantly benefiting most scenarios and excellently superior on fine details. As a result, IS-MVSNet outperforms all the published papers on TNT's intermediate benchmark with an F-score of 62.82{%}. Code is available at github.com/NoOneUST/IS-MVSNet.",
isbn="978-3-031-19824-3"
}