首页>编程相关>其他源码
下载
RGB D融合

？ RGB-D-Fusion：人形受试者的图像条件深度扩散

作者：
Sascha Kirch、Valeria Olyunina、Jan Ondřej、Rafael Pagés、Sergio Martín 和 Clara Pérez-Molina

[ Paper ] [ BibTex ]

RGB-D-Fusion 的 TensorFlow 实现。有关详细信息，请参阅论文RGB-D-Fusion：人形主体的图像条件深度扩散。

贡献

  • 我们提供了一个使用扩散模型进行高分辨率密集单目深度估计的框架。
  • 我们使用扩散模型对多模态 RGB-D 输入条件下的密集深度数据执行超分辨率。
  • 我们引入了一种新颖的增强技术，即深度噪声，以增强深度超分辨率模型的鲁棒性。
  • 我们进行严格的消融和实验来验证我们的设计选择

消息

  • 2023/10/14 ：代码现已可用！
  • 2023/09/04 : 我们的论文现已发表在 IEEE Access 上！
  • 2023/07/29 ：我们在 arxiv 上发布了预印本。

框架

RGB-D-融合框架

?️ 结果

预测与 GT

结果_gt

在疯狂的预测中

results_in_the_wild_1results_in_the_wild_1results_in_the_wild_1

安装

我们推荐使用 docker 环境。我们提供了来自 TensorFlow 的 docker 文件和来自 nvidia 的 docker 文件。后者更大，但包含 nvidia 的性能优化。确保安装了 docker，包括 nvidia 的 GPU 扩展。

  1. 构建图像
docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >
  1. 创建容器
docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >
  1. 启动容器
docker start rgb-d-fusion

目录层次结构应如下所示

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

层次结构可以创建在一处或不同的目录中。启动docker容器时，不同的目录可以挂载在一起。

运行训练、评估和/或推理脚本

脚本位于脚本下。目前有两种类型的模型：

  1. Depth Diffusion Model ，一种根据 RGB 图像生成深度图的扩散模型
  2. 超分辨率扩散模型，一种从低分辨率 RGB-D 生成高分辨率 RGB-D 的扩散模型。

每个模型都有用 python 编写的专用训练、评估和推理脚本。您可以通过python