? RGB-D-Fusion: Difusión de profundidad condicionada por imágenes de sujetos humanoides

Autores:
Sascha Kirch, Valeria Olyunina, Jan Ondřej, Rafael Pagés, Sergio Martín y Clara Pérez-Molina

[ Paper ] [ BibTex ]

Implementación de TensorFlow para RGB-D-Fusion. Para obtener más información, consulte el artículo RGB-D-Fusion: Difusión de profundidad condicionada por imágenes de sujetos humanoides .

Contribución

Proporcionamos un marco para la estimación de la profundidad monocular densa de alta resolución utilizando modelos de difusión .
Realizamos superresolución para datos de profundidad densa condicionados a una condición de entrada RGB-D multimodal utilizando modelos de difusión.
Introducimos una nueva técnica de aumento , concretamente el ruido de profundidad, para mejorar la solidez del modelo de superresolución de profundidad.
Realizamos ablaciones y experimentos rigurosos para validar nuestras elecciones de diseño.

Noticias

2023/10/14 : ¡El código ya está disponible!
2023/09/04 : ¡Nuestro artículo ahora está publicado en IEEE Access!
2023/07/29 : Lanzamos nuestra preimpresión en arxiv.

Estructura

marco rgb-d-fusion

?️ Resultados

Predicción vs GT

resultados_gt

En las predicciones salvajes

Instalación

Recomendamos utilizar un entorno acoplable. Proporcionamos un archivo acoplable de TensorFlow y un archivo acoplable de nvidia. El último es más grande pero incluye las optimizaciones de rendimiento de nvidia. Asegúrese de que la ventana acoplable esté instalada, incluida la extensión GPU de nvidia.

construir la imagen

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

Crear el contenedor

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

iniciar el contenedor

docker start rgb-d-fusion

La jerarquía del directorio debería verse de la siguiente manera

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

La jerarquía se puede crear en un lugar o en directorios diferentes. Al iniciar el contenedor acoplable, se pueden montar diferentes directorios juntos.

Ejecutar scripts de capacitación, evaluación y/o inferencia

Los guiones se encuentran debajo de guiones. Actualmente existen dos tipos de modelos:

Modelo de Difusión de Profundidad , un modelo de difusión que genera un mapa de profundidad condicionado a una imagen RGB
Modelo de difusión de superresolución , un modelo de difusión que genera RGB-D de alta resolución a partir de RGB-D de baja resolución.

Cada modelo tiene sus scripts de entrenamiento, evaluación e inferencia dedicados escritos en Python. Puede verificar la funcionalidad y los parámetros a través de python

fusión rgb d