؟ RGB-D-Fusion: نشر العمق المكيف للصورة للموضوعات البشرية

المؤلفون:
ساشا كيرتش، فاليريا أوليونينا، جان أوندريج، رافائيل باجيس، سيرجيو مارتن وكلارا بيريز مولينا

[ Paper ] [ BibTex ]

تنفيذ TensorFlow لـ RGB-D-Fusion. لمزيد من التفاصيل، راجع الورقة RGB-D-Fusion: Image Conditioned Depth Diffusion of Humanoid Subjects .

مساهمة

نحن نقدم إطارًا لتقدير العمق الأحادي الكثيف عالي الدقة باستخدام نماذج الانتشار .
نحن نقدم دقة فائقة لبيانات العمق الكثيفة المشروطة بحالة إدخال RGB-D متعددة الوسائط باستخدام نماذج الانتشار.
نحن نقدم تقنية تكبير جديدة ، وهي ضوضاء العمق، لتعزيز متانة نموذج العمق فائق الدقة.
نحن نقوم بإجراء عمليات استئصال وتجارب صارمة للتحقق من صحة خيارات التصميم لدينا

أخبار

2023/10/14 : الكود متاح الآن!
2023/09/04 : تم نشر ورقتنا البحثية الآن في IEEE Access!
2023/07/29 : نصدر نسختنا المطبوعة مسبقًا على arxiv.

نطاق

إطار عمل rgb-d-fusion

️ النتائج

التنبؤ مقابل GT

results_gt

في التوقعات البرية

تثبيت

نوصي باستخدام بيئة عامل إرساء. نحن نقدم ملف عامل إرساء من TensorFlow وملف عامل إرساء من nvidia. الإصدار الأحدث أكبر ولكنه يتضمن تحسينات أداء nvidia. تأكد من تثبيت عامل الإرساء بما في ذلك ملحق GPU الخاص بـ nvidia.

بناء الصورة

docker build -t < IMAGE_NAME > / < VERSION > -f < PATH_TO_DOCKERFILE >

قم بإنشاء الحاوية

docker container create --gpus all -u 1000:1000 --name rgb-d-fusion -p 8888:8888 -v < PATH_TO_tf_DIR > :/tf -v < PATH_TO_YOUR_GIT_DIR > :/tf/GitHub -it < IMAGE_NAME > / < VERSION >

ابدأ الحاوية

docker start rgb-d-fusion

يجب أن يبدو التسلسل الهرمي للدليل كما يلي

 |- tf
   |- manual_datasets
      |-  
         |- test
            |- DEPTH_RENDER_EXR
            |- MASK
            |- PARAM
            |- RENDER
         |- train                     # same hierachy as in test
      |-                    # same hierachy as inv_humas_rendered
   |- GitHub
      |- ConditionalDepthDiffusion    # This Repo
   |- output_runs                     # Auto generated directory to store results
      |- DepthDiffusion
         |- checkpoints               # stores saved model checkpoints
         |- illustrations             # illustrations that are beeing generated during or after training
         |- diffusion_output          # used for inference to store data sampled from the model
      |- SuperResolution              # same hierachy as in DepthDiffusion

قد يتم إنشاء التسلسل الهرمي في مكان واحد أو في أدلة مختلفة. عند بدء تشغيل حاوية عامل الإرساء، يمكن تركيب أدلة مختلفة معًا.

تشغيل البرامج النصية للتدريب والتقييم و/أو الاستدلال

تقع البرامج النصية تحت البرامج النصية. يوجد حاليًا نوعان من النماذج:

نموذج نشر العمق ، وهو نموذج نشر يقوم بإنشاء خريطة عمق مشروطة بصورة RGB
نموذج الانتشار فائق الدقة ، وهو نموذج نشر يولّد RGB-D عالي الدقة من RGB-D منخفض الدقة.

يحتوي كل نموذج على نصوص تدريبية وتقييمية واستدلالية مخصصة مكتوبة بلغة بايثون. يمكنك التحقق من الوظائف والمعلمات عبر python

rgb د الانصهار