首頁>編程相關>其他源碼
下載
RGB D融合

？ RGB-D-Fusion：人形受試者的影像條件深度擴散

作者：
Sascha Kirch、Valeria Olyunina、Jan Ondřej、Rafael Pagés、Sergio Martín 和 Clara Pérez-Molina

[ Paper ] [ BibTex ]

RGB-D-Fusion 的 TensorFlow 實作。有關詳細信息，請參閱論文RGB-D-Fusion：人形主體的圖像條件深度擴散。

貢獻

  • 我們提供了一個使用擴散模型進行高解析度密集單目深度估計的框架。
  • 我們使用擴散模型對多模態 RGB-D 輸入條件下的密集深度資料執行超解析度。
  • 我們引入了一種新穎的增強技術，即深度噪聲，以增強深度超解析度模型的穩健性。
  • 我們進行嚴格的消融和實驗來驗證我們的設計選擇

訊息

  • 2023/10/14 ：代碼現已可用！
  • 2023/09/04 : 我們的論文現已發表在 IEEE Access 上！
  • 2023/07/29 ：我們在 arxiv 上發布了預印本。

框架

RGB-D-融合框架

?️ 結果

預測與 GT

結果_gt

在瘋狂的預測中

results_in_the_wild_1results_in_the_wild_1results_in_the_wild_1

安裝

我們推薦使用 docker 環境。我們提供了來自 TensorFlow 的 docker 檔案和 nvidia 的 docker 檔案。後者更大，但包含 nvidia 的效能最佳化。確保安裝了 docker，包括 nvidia 的 GPU 擴充。

  1. 建構影像
docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >
  1. 建立容器
docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >
  1. 啟動容器
docker start rgb-d-fusion

目錄層次結構應如下所示

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

層次結構可以建立在一個或不同的目錄中。啟動docker容器時，不同的目錄可以掛載在一起。

執行訓練、評估和/或推理腳本

腳本位於腳本下。目前有兩種類型的模型：

  1. Depth Diffusion Model ，一種根據 RGB 影像產生深度圖的擴散模型
  2. 超解析度擴散模型，一種從低解析度 RGB-D 產生高解析度 RGB-D 的擴散模型。

每個模型都有用 python 編寫的專用訓練、評估和推理腳本。您可以透過python