rgb d fusion

? RGB-D-Fusion: 人型被写体の画像条件付き深度拡散

著者:
サシャ・キルヒ、ヴァレリア・オリュニナ、ヤン・オンドジェ、ラファエル・パヘス、セルヒオ・マルティン、クララ・ペ​​レス・モリーナ

[ Paper ] [ BibTex ]

RGB-D-Fusion の TensorFlow 実装。詳細については、論文「RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects」を参照してください。

貢献

• 私たちは、拡散モデルを使用した高解像度の高密度単眼深度推定のためのフレームワークを提供します。
• 拡散モデルを使用して、マルチモーダル RGB-D 入力条件で条件付けされた高密度深度データの超解像を実行します。
• 深度超解像度モデルの堅牢性を高めるために、新しい拡張技術、つまり深度ノイズを導入します。
• 設計上の選択を検証するために、厳密なアブレーションと実験を実行します。

ニュース

• 2023/10/14 : コードが利用可能になりました!
• 2023/09/04 : IEEE Access に論文が掲載されました!
• 2023/07/29 : arxiv でプレプリントを公開しました。

フレームワーク

⁉️ 結果

予測と GT

ワイルドな予測

インストール

Docker 環境の使用をお勧めします。 TensorFlow の docker ファイルと nvidia の docker ファイルが提供されています。後者はサイズが大きくなりますが、nvidia のパフォーマンスの最適化が含まれています。 nvidia の GPU 拡張機能を含む docker がインストールされていることを確認します。

1. イメージを構築する

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

2. コンテナを作成する

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

3. コンテナを起動する

docker start rgb-d-fusion

ディレクトリ階層は次のようになります。

 |- tf
   |- manual_datasets
      |- <DATASET 1> 
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |- <DATASET 2>                   # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

階層は 1 か所に作成される場合もあれば、別のディレクトリに作成される場合もあります。 Docker コンテナを起動するときに、異なるディレクトリを一緒にマウントできます。

トレーニング、評価、推論スクリプトを実行する

スクリプトは scripts の下にあります。現在、次の 2 種類のモデルがあります。

1. 深度拡散モデル、RGB画像に基づいて条件付けされた深度マップを生成する拡散モデル
2. 超解像度拡散モデル、低解像度 RGB-D から高解像度 RGB-D を生成する拡散モデル。

各モデルには、Python で書かれた専用のトレーニング、評価、推論スクリプトがあります。機能とパラメータはpython <SCRIPT> -hで確認できます。

✒️引用

私たちの研究があなたの研究に役立つと思われる場合は、次の BibTeX エントリを引用することを検討してください。

 @article { kirch_rgb-d-fusion_2023 ,
 title = { RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects } ,
 author = { Kirch, Sascha and Olyunina, Valeria and Ondřej, Jan and Pagés, Rafael and Martín, Sergio and Pérez-Molina, Clara } ,
 journal = { IEEE Access } ,
 year = { 2023 } ,
 volume = { 11 } ,
 issn = { 2169-3536 } ,
 doi = { 10.1109/ACCESS.2023.3312017 } ,
 pages = { 99111--99129 } ,
 url = { https://ieeexplore.ieee.org/document/10239167 } ,
}