- RGB-D-Fusion: การกระจายความลึกของภาพที่มีการปรับสภาพของวัตถุคล้ายมนุษย์

ผู้เขียน:
ซาช่า เคียร์ช, วาเลเรีย โอลินินา, ยาน ออนเดรจ, ราฟาเอล ปาเจส, แซร์คิโอ มาร์ติน และคลารา เปเรซ-โมลินา

[ Paper ] [ BibTex ]

การใช้งาน TensorFlow สำหรับ RGB-D-Fusion สำหรับรายละเอียด โปรดดูเอกสาร RGB-D-Fusion: การแพร่กระจายความลึกที่มีเงื่อนไขของภาพของวัตถุรูปทรงคล้ายมนุษย์

ผลงาน

เราจัดทำกรอบการทำงานสำหรับ การประมาณความลึกตาข้างเดียวที่มีความหนาแน่นสูงโดยใช้แบบจำลองการแพร่กระจาย
เราดำเนินการ ที่มีความละเอียดสูงสุดสำหรับข้อมูลเชิงลึกที่หนาแน่น ภายใต้เงื่อนไขอินพุต RGB-D แบบหลายโมดัลโดยใช้โมเดลการแพร่กระจาย
เราขอแนะนำ เทคนิคการเพิ่มความลึกแบบใหม่ กล่าวคือ สัญญาณรบกวนเชิงลึก เพื่อเพิ่มความทนทานของแบบจำลองที่มีความละเอียดสูงเป็นพิเศษ
เราทำการ กำจัดและการทดลองอย่างเข้มงวด เพื่อตรวจสอบตัวเลือกการออกแบบของเรา

ข่าว

2023/10/14 : รหัสใช้ได้แล้ว!
2023/09/04 : บทความของเราได้รับการตีพิมพ์ใน IEEE Access แล้ว!
2023/07/29 : เราเผยแพร่การพิมพ์ล่วงหน้าของเราบน arxiv

กรอบ

เฟรมเวิร์ก RGB-D-Fusion

️ผลลัพธ์

การทำนายเทียบกับ GT

ผลลัพธ์_gt

ในการทำนายอย่างดุเดือด

การติดตั้ง

เราขอแนะนำให้ใช้สภาพแวดล้อมนักเทียบท่า เราจัดเตรียมไฟล์นักเทียบท่าจาก TensorFlow และไฟล์นักเทียบท่าจาก NVIDIA อันหลังมีขนาดใหญ่กว่า แต่รวมถึงการเพิ่มประสิทธิภาพของ NVIDIA ตรวจสอบให้แน่ใจว่าติดตั้งนักเทียบท่ารวมถึงส่วนขยาย GPU ของ nvidia

สร้างภาพ

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

สร้างคอนเทนเนอร์

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

เริ่มคอนเทนเนอร์

docker start rgb-d-fusion

ลำดับชั้นของไดเร็กทอรีควรมีลักษณะดังนี้

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

ลำดับชั้นอาจถูกสร้างขึ้นในที่เดียวหรือในไดเร็กทอรีอื่น เมื่อเริ่มต้นคอนเทนเนอร์นักเทียบท่า สามารถติดตั้งไดเร็กทอรีที่แตกต่างกันได้

เรียกใช้สคริปต์การฝึกอบรม การประเมินผล และ/หรืออนุมาน

สคริปต์อยู่ภายใต้สคริปต์ ปัจจุบันมีโมเดลสองประเภท:

Depth Diffusion Model ซึ่งเป็นโมเดลการแพร่กระจายที่สร้างแผนที่ความลึกซึ่งกำหนดเงื่อนไขบนภาพ RGB
Super Resolution Diffusion Model ซึ่งเป็นโมเดลการแพร่กระจายที่สร้าง RGB-D ความละเอียดสูงจาก RGB-D ความละเอียดต่ำ

แต่ละโมเดลมีสคริปต์การฝึกอบรม การประเมิน และการอนุมานโดยเฉพาะที่เขียนด้วยภาษา Python คุณสามารถตรวจสอบการทำงานและพารามิเตอร์ได้ผ่านทาง python

RGB d ฟิวชั่น