? RGB-D-Fusion: difusão de profundidade condicionada por imagem de assuntos humanóides

Autores:
Sascha Kirch, Valeria Olyunina, Jan Ondřej, Rafael Pagés, Sergio Martín e Clara Pérez-Molina

[ Paper ] [ BibTex ]

Implementação do TensorFlow para RGB-D-Fusion. Para obter detalhes, consulte o artigo RGB-D-Fusion: Difusão de profundidade condicionada por imagem de assuntos humanóides .

Contribuição

Nós fornecemos uma estrutura para estimativa de profundidade monocular densa de alta resolução usando modelos de difusão .
Realizamos super-resolução para dados de profundidade densos condicionados em uma condição de entrada RGB-D multimodal usando modelos de difusão.
Introduzimos uma nova técnica de aumento , nomeadamente ruído de profundidade, para aumentar a robustez do modelo de super-resolução de profundidade.
Realizamos ablações e experimentos rigorosos para validar nossas escolhas de design

Notícias

2023/10/14 : O código já está disponível!
2023/09/04 : Nosso artigo foi publicado no IEEE Access!
2023/07/29 : Lançamos nossa pré-impressão no arxiv.

Estrutura

estrutura rgb-d-fusion

?️ Resultados

Previsão vs. GT

resultados_gt

Nas previsões selvagens

Instalação

Recomendamos usar um ambiente docker. Fornecemos um arquivo docker do TensorFlow e um arquivo docker da nvidia. O último é maior, mas inclui otimizações de desempenho da Nvidia. Certifique-se de que o docker esteja instalado, incluindo a extensão GPU da nvidia.

Construa a imagem

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

Crie o contêiner

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

Inicie o contêiner

docker start rgb-d-fusion

A hierarquia de diretórios deve ser a seguinte

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

A hierarquia pode ser criada em um local ou em diretórios diferentes. Ao iniciar o contêiner docker, diferentes diretórios podem ser montados juntos.

Execute scripts de treinamento, avaliação e/ou inferência

Os scripts estão localizados em scripts. Atualmente existem dois tipos de modelos:

Modelo de Difusão de Profundidade , um modelo de difusão que gera um mapa de profundidade condicionado a uma imagem RGB
Modelo de Difusão de Superresolução , um modelo de difusão que gera RGB-D de alta resolução a partir de RGB-D de baixa resolução.

Cada modelo possui scripts dedicados de treinamento, avaliação e inferência escritos em python. Você pode verificar a funcionalidade e os parâmetros via python

fusão rgb d