rgb d fusion

? RGB-D-Fusion: Difusi Kedalaman yang Dikondisikan Gambar dari Subjek Humanoid

Penulis:
Sascha Kirch, Valeria Olyunina, Jan Ondřej, Rafael Pages, Sergio Martín & Clara Pérez-Molina

[ Paper ] [ BibTex ]

Implementasi TensorFlow untuk RGB-D-Fusion. Untuk detailnya, lihat makalah RGB-D-Fusion: Difusi Kedalaman Berkondisi Gambar pada Subjek Humanoid .

Kontribusi

• Kami menyediakan kerangka kerja untuk estimasi kedalaman monokuler padat resolusi tinggi menggunakan model difusi .
• Kami melakukan resolusi super untuk data kedalaman padat yang dikondisikan pada kondisi input RGB-D multi-modal menggunakan model difusi.
• Kami memperkenalkan teknik augmentasi baru , yaitu noise kedalaman, untuk meningkatkan kekokohan model resolusi super kedalaman.
• Kami melakukan ablasi dan eksperimen yang ketat untuk memvalidasi pilihan desain kami

Berita

• 2023/10/14 : Kode tersedia Sekarang!
• 2023/09/04 : Makalah kami sekarang diterbitkan di IEEE Access!
• 2023/07/29 : Kami merilis pra-cetak kami di arxiv.

Kerangka

?️ Hasil

Prediksi vs. GT

Dalam prediksi liar

Instalasi

Kami merekomendasikan menggunakan lingkungan buruh pelabuhan. Kami menyediakan file buruh pelabuhan dari TensorFlow dan file buruh pelabuhan dari nvidia. Yang terakhir lebih besar tetapi mencakup optimalisasi kinerja nvidia. Pastikan buruh pelabuhan diinstal termasuk ekstensi GPU nvidia.

1. Bangun gambarnya

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

2. Buat wadahnya

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

3. Mulai wadahnya

docker start rgb-d-fusion

Hierarki direktori akan terlihat sebagai berikut

 |- tf
   |- manual_datasets
      |- <DATASET 1> 
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |- <DATASET 2>                   # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

Hierarki mungkin dibuat di satu tempat atau di direktori berbeda. Saat memulai wadah buruh pelabuhan, direktori yang berbeda dapat dipasang bersama.

Jalankan skrip Pelatihan, Evaluasi dan/atau Inferensi

Skrip terletak di bawah skrip. Saat ini ada dua jenis model:

1. Model Difusi Kedalaman , model difusi yang menghasilkan peta kedalaman yang dikondisikan pada gambar RGB
2. Model Difusi Superresolusi , model difusi yang menghasilkan RGB-D resolusi tinggi dari RGB-D resolusi rendah.

Setiap model memiliki skrip pelatihan, evaluasi, dan inferensi khusus yang ditulis dengan python. Anda dapat memeriksa fungsionalitas dan parameter melalui python <SCRIPT> -h .

✒️ Kutipan

Jika Anda merasa pekerjaan kami bermanfaat untuk penelitian Anda, mohon pertimbangkan untuk mengutip entri BibTeX berikut.

 @article { kirch_rgb-d-fusion_2023 ,
 title = { RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects } ,
 author = { Kirch, Sascha and Olyunina, Valeria and Ondřej, Jan and Pagés, Rafael and Martín, Sergio and Pérez-Molina, Clara } ,
 journal = { IEEE Access } ,
 year = { 2023 } ,
 volume = { 11 } ,
 issn = { 2169-3536 } ,
 doi = { 10.1109/ACCESS.2023.3312017 } ,
 pages = { 99111--99129 } ,
 url = { https://ieeexplore.ieee.org/document/10239167 } ,
}