CONTHO_RELEASE

CONTHO : إعادة البناء المشترك للإنسان والجسم ثلاثي الأبعاد عبر محول التحسين القائم على الاتصال

هيونغجين نام* ¹ ، دانيال سونغو جونغ* ¹ ، جيونغسيك مون ² ، كيونغ مو لي ¹

¹ جامعة سيول الوطنية ، ² مختبر الصور الرمزية للترميز، ميتا
(*مساهمة متساوية)

سي في بي آر 2024

تقوم CONTHO بشكل مشترك بإعادة بناء الإنسان والجسم ثلاثي الأبعاد من خلال استغلال الاتصال بالجسم البشري كإشارة رئيسية في إعادة البناء الدقيقة. ولتحقيق هذه الغاية، قمنا بدمج "إعادة بناء الجسم البشري ثلاثي الأبعاد" و "تقدير الاتصال بالجسم البشري" ، وهما المهمتان المختلفتان اللتان تمت دراستهما بشكل منفصل في مسارين، في إطار واحد موحد.

تثبيت

• ننصحك باستخدام بيئة Anaconda الافتراضية. قم بتثبيت PyTorch >=1.10.1 وPython >= 3.7.0. تم اختبار أحدث طراز CONTHO لدينا على Python 3.9.13، وPyTorch 1.10.1، وCUDA 10.2.
• إعداد البيئة

    # Initialize conda environment
    conda create -n contho python=3.9
    conda activate contho 

    # Install PyTorch
    conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch

    # Install all remaining packages
    pip install -r requirements.txt

عرض سريع

• قم بإعداد base_data من Google Drive أو Onedrive، ثم ضعها كـ ${ROOT}/data/base_data .
• قم بتنزيل نقطة التفتيش المدربة مسبقًا من Google Drive أو OneDrive.
• وأخيرا، يرجى تشغيل

 python main/demo.py --gpu 0 --checkpoint {CKPT_PATH}

بيانات

تحتاج إلى اتباع بنية الدليل data على النحو التالي.

 ${ROOT} 
|-- data  
|   |-- base_data
|   |   |-- annotations
|   |   |-- backbone_models
|   |   |-- human_models
|   |   |-- object_models
|   |-- BEHAVE
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- Date01_Sub01_backpack_back
|   |   |   |-- Date01_Sub01_backpack_hand
|   |   |   |-- ...
|   |   |   |-- Date07_Sub08_yogamat
|   |-- InterCap
|   |   |-- dataset.py
|   |   |-- sequences
|   |   |   |-- 01
|   |   |   |-- 02
|   |   |   |-- ...
|   |   |   |-- 10

• قم بتنزيل تسلسلات Data01~Data07 من مجموعة بيانات BEHAVE إلى ${ROOT}/data/BEHAVE/sequences .
  (الخيار 1) قم بتنزيل مجموعة بيانات BEHAVE مباشرة من صفحة التنزيل الخاصة بهم.
  (الخيار 2) قم بتشغيل البرنامج النصي أدناه.

 scripts/download_behave.sh

• قم بتنزيل RGBD_Images.zip وRes.zip من مجموعة بيانات InterCap إلى ${ROOT}/data/InterCap/sequences .
  (الخيار 1) قم بتنزيل مجموعة بيانات InterCap مباشرةً من صفحة التنزيل الخاصة بها.
  (الخيار 2) قم بتشغيل البرنامج النصي أدناه.

 scripts/download_intercap.sh

• قم بتنزيل base_data من Google Drive أو Onedrive.
• (اختياري) قم بتنزيل نقاط التحقق التي تم إصدارها لمجموعة بيانات BEHAVE (Google Drive | OneDrive) وInterCap (Google Drive | OneDrive).

تشغيل كونثو

يدرب

لتدريب CONTHO على مجموعة بيانات BEHAVE أو InterCap، يرجى التشغيل

 python main/train.py --gpu 0 --dataset {DATASET}

امتحان

لتقييم CONTHO على مجموعة بيانات BEHAVE أو InterCap، يرجى التشغيل

 python main/test.py --gpu 0 --dataset {DATASET} --checkpoint {CKPT_PATH}

نتائج

هنا، نقوم بالإبلاغ عن أداء CONTHO.
CONTHO هو إطار عمل سريع ودقيق لإعادة بناء الإنسان والأشياء ثلاثي الأبعاد!

أسئلة وأجوبة فنية

• خطأ في وقت التشغيل: - الطرح، مع موتر منطقي غير مدعومة. إذا كنت تحاول عكس قناع، استخدم عامل التشغيل ~ أو logical_not() بدلاً من ذلك: يرجى التحقق من المرجع.
• باش: scripts/download_behave.sh: تم رفض الإذن: يرجى التحقق من المرجع.

شكر وتقدير

نشكر:

• Hand4Whole لإعادة بناء الشبكة البشرية ثلاثية الأبعاد.
• CHORE للتدريب والاختبار على BEHAVE.
• InterCap لتحميل البرنامج النصي لمجموعة البيانات.
• DECO لإعداد التجربة البرية.

مرجع

 @inproceedings{nam2024contho,    
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Nam, Hyeongjin and Jung, Daniel Sungho and Moon, Gyeongsik and Lee, Kyoung Mu},
booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},  
year = {2024}  
}