? RGB-D-Fusion: 人型被写体の画像条件付き深度拡散

著者:
サシャ・キルヒ、ヴァレリア・オリュニナ、ヤン・オンドジェ、ラファエル・パヘス、セルヒオ・マルティン、クララ・ペレス・モリーナ

[ Paper ] [ BibTex ]

RGB-D-Fusion の TensorFlow 実装。詳細については、論文「RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects」を参照してください。

貢献

私たちは、拡散モデルを使用した高解像度の密な単眼深度推定のためのフレームワークを提供します。
拡散モデルを使用して、マルチモーダル RGB-D 入力条件で条件付けされた高密度深度データの超解像を実行します。
深度超解像度モデルの堅牢性を高めるために、新しい拡張技術、つまり深度ノイズを導入します。
設計上の選択を検証するために、厳密なアブレーションと実験を実行します。

ニュース

2023/10/14 : コードが利用可能になりました!
2023/09/04 : IEEE Access に論文が掲載されました!
2023/07/29 : arxiv でプレプリントを公開しました。

フレームワーク

rgb-d-fusion フレームワーク

⁉️ 結果

予測と GT

結果_gt

ワイルドな予測

インストール

Docker 環境の使用をお勧めします。 TensorFlow の docker ファイルと nvidia の docker ファイルが提供されています。後者はサイズが大きくなりますが、nvidia のパフォーマンスの最適化が含まれています。 nvidia の GPU 拡張機能を含む docker がインストールされていることを確認します。

イメージを構築する

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

コンテナを作成する

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

コンテナを起動する

docker start rgb-d-fusion

ディレクトリ階層は次のようになります。

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

階層は 1 か所に作成される場合もあれば、別のディレクトリに作成される場合もあります。 Docker コンテナを起動するときに、異なるディレクトリを一緒にマウントできます。

トレーニング、評価、推論スクリプトを実行する

スクリプトは scripts の下にあります。現在、次の 2 種類のモデルがあります。

深度拡散モデル、RGB画像に基づいて条件付けされた深度マップを生成する拡散モデル
超解像度拡散モデル、低解像度 RGB-D から高解像度 RGB-D を生成する拡散モデル。

各モデルには、Python で書かれた専用のトレーニング、評価、推論スクリプトがあります。機能とパラメータはpython

RGB D フュージョン