Startseite>Programmierbezogen>Anderer Quellcode
Herunterladen
RGB-D-Fusion

? RGB-D-Fusion: Bildbedingte Tiefendiffusion humanoider Subjekte

Autoren:
Sascha Kirch, Valeria Olyunina, Jan Ondřej, Rafael Pagés, Sergio Martín und Clara Pérez-Molina

[ Paper ] [ BibTex ]

TensorFlow-Implementierung für RGB-D-Fusion. Einzelheiten finden Sie im Artikel RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects .

Beitrag

  • Wir bieten einen Rahmen für die hochauflösende Tiefenschätzung dichter monokularer Objekte mithilfe von Diffusionsmodellen .
  • Wir führen eine Superauflösung für dichte Tiefendaten durch, die auf einer multimodalen RGB-D-Eingabebedingung unter Verwendung von Diffusionsmodellen basieren.
  • Wir führen eine neuartige Erweiterungstechnik ein, nämlich Tiefenrauschen, um die Robustheit des Tiefen-Superauflösungsmodells zu verbessern.
  • Wir führen strenge Ablationen und Experimente durch, um unsere Designentscheidungen zu validieren

Nachricht

  • 2023/10/14 : Code ist jetzt verfügbar!
  • 2023/09/04 : Unser Artikel ist jetzt in IEEE Access veröffentlicht!
  • 2023/07/29 : Wir veröffentlichen unseren Vorabdruck auf arxiv.

Rahmen

RGB-D-Fusion-Framework

?️ Ergebnisse

Vorhersage vs. GT

results_gt

In den wilden Vorhersagen

results_in_the_wild_1results_in_the_wild_1results_in_the_wild_1

Installation

Wir empfehlen die Verwendung einer Docker-Umgebung. Wir stellen eine Docker-Datei von TensorFlow und eine Docker-Datei von NVIDIA bereit. Letzteres ist größer, beinhaltet aber die Leistungsoptimierungen von Nvidia. Stellen Sie sicher, dass Docker einschließlich der GPU-Erweiterung von NVIDIA installiert ist.

  1. Erstellen Sie das Bild 
docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >
  1. Erstellen Sie den Container 
docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >
  1. Starten Sie den Container 
docker start rgb-d-fusion

Die Verzeichnishierarchie sollte wie folgt aussehen 

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

Die Hierarchie kann an einem Ort oder in verschiedenen Verzeichnissen erstellt werden. Beim Starten des Docker-Containers können verschiedene Verzeichnisse zusammen gemountet werden.

Führen Sie Trainings-, Bewertungs- und/oder Inferenzskripte aus

Skripte befinden sich unter Skripte. Derzeit gibt es zwei Arten von Modellen:

  1. Tiefendiffusionsmodell , ein Diffusionsmodell, das eine Tiefenkarte generiert, die auf einem RGB-Bild basiert
  2. Superresolution Diffusion Model , ein Diffusionsmodell, das hochauflösendes RGB-D aus niedrigaufgelöstem RGB-D generiert.

Für jedes Modell sind spezielle Trainings-, Bewertungs- und Inferenzskripte in Python geschrieben. Sie können die Funktionalität und Parameter über python