? Fusion RVB-D : diffusion en profondeur conditionnée par l'image de sujets humanoïdes

Auteurs :
Sascha Kirch, Valeria Olyunina, Jan Ondřej, Rafael Pagés, Sergio Martín et Clara Pérez-Molina

[ Paper ] [ BibTex ]

Implémentation de TensorFlow pour RGB-D-Fusion. Pour plus de détails, consultez l'article RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects .

Contribution

Nous fournissons un cadre pour l'estimation de la profondeur monoculaire dense à haute résolution à l'aide de modèles de diffusion .
Nous effectuons une super-résolution pour les données de profondeur denses conditionnées sur une condition d'entrée RVB-D multimodale à l'aide de modèles de diffusion.
Nous introduisons une nouvelle technique d'augmentation , à savoir le bruit de profondeur, pour améliorer la robustesse du modèle de super-résolution de profondeur.
Nous effectuons des ablations et des expériences rigoureuses pour valider nos choix de conception

Nouvelles

2023/10/14 : Le code est disponible maintenant !
2023/09/04 : Notre article est désormais publié dans IEEE Access !
2023/07/29 : Nous publions notre pré-print sur arxiv.

Cadre

cadre rgb-d-fusion

?️ Résultats

Prédiction contre GT

résultats_gt

Dans la nature, les prédictions

Installation

Nous vous recommandons d'utiliser un environnement Docker. Nous fournissons un fichier docker de TensorFlow et un fichier docker de nvidia. Ce dernier est plus grand mais inclut les optimisations de performances de nvidia. Assurez-vous que Docker est installé, y compris l'extension GPU de nvidia.

Construire l'image

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

Créer le conteneur

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

Démarrer le conteneur

docker start rgb-d-fusion

La hiérarchie des répertoires devrait ressembler à ceci

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

La hiérarchie peut être créée à un seul endroit ou dans différents répertoires. Lors du démarrage du conteneur Docker, différents répertoires peuvent être montés ensemble.

Exécuter des scripts de formation, d'évaluation et/ou d'inférence

Les scripts se trouvent sous scripts. Il existe actuellement deux types de modèles :

Depth Diffusion Model , un modèle de diffusion qui génère une carte de profondeur conditionnée sur une image RVB
Modèle de diffusion superrésolution , un modèle de diffusion qui génère du RVB-D haute résolution à partir du RVB-D basse résolution.

Chaque modèle possède ses scripts de formation, d'évaluation et d'inférence dédiés écrits en python. Vous pouvez vérifier la fonctionnalité et les paramètres via python

RVB D Fusion