الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

إصدار SCULPT (CVPR 2024)

قاعدة التعليمات البرمجية الرسمية لـ SCULPT: التعلم غير المقترن المكيف للشبكات البشرية ذات الملابس والأنسجة المعتمدة على الوضعية

موقع المشروع | تحميل مجموعة البيانات | ورقة آركسيف | فيديو

تمرين

قم أولاً باستنساخ جيثب ريبو. 

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

قم بتثبيت الحزم والإصدارات المقابلة لها كما هو مذكور في ملف require.txt. 

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

قم بتثبيت الإصدار التالي من PyTorch. يتم اختبار كود التدريب والاستدلال على وحدات معالجة الرسوميات V100 وA100. لقد قمنا بتدريب نماذجنا باستخدام 8 وحدات معالجة رسوميات لمدة خمسة أو ستة أيام للحصول على النتيجة المبلغ عنها. 

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

قم بإنشاء مجلد بيانات داخل الدليل الرئيسي. 

 mkdir data

قم بتنزيل واستخراج جميع البيانات من موقع المشروع ووضعها في مجلد البيانات.

لا تقم بفك ضغط RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip الذي يحتوي على جميع الصور والتعليقات التوضيحية التي تمت معالجتها مسبقًا لتدريب SCULPT.

ثم قم بتشغيل الأمر التالي لبدء التدريب 

 sh trainer_cluster_mul.sh

لتدريب SCULPT باستخدام مجموعة بيانات جديدة، اتبع البرنامج النصي المقدم من dataset_tool.py. ولكن يحتاج المرء أولاً إلى حساب نوع الملابس ولون الملابس للبيانات الجديدة كما هو موضح في الورقة الرئيسية. سنضيف البرامج النصية لحسابات الميزات هذه في التحديث المستقبلي.

لقد قمنا بالفعل بتوفير نقطة التفتيش لمولد الهندسة المدرب والذي يتطلب خمسة أيام إضافية للتدريب.

نحن نقدم أيضًا صور الأزياء الأولية (512 × 512) والشروح الخاصة بها في حالة رغبة المرء في تدريب نموذجه الخاص للبحث الأكاديمي.

الاستدلال

أولا، قم بإنشاء مجلد البيانات. بعد ذلك، قم بتنزيل واستخراج كافة البيانات من موقع المشروع ووضعها في مجلد البيانات. بعد ذلك، قم بتشغيل الأمر التالي لإنشاء الشبكات والعروض المستخدمة في الورقة الرئيسية والفيديو. 

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

يمكن الجمع بين أنواع وألوان مختلفة من الملابس لإنشاء أشكال هندسية وأنسجة مختلفة. يمكن تحقيق ذلك من خلال فحص رمز الاستدلال.

إذا كان أحد يرغب في استخدام النموذج المُدرب مسبقًا لإنشاء عينات ألوان جديدة، فيمكن القيام بذلك عن طريق كتابة التعليقات النصية أولاً ثم حساب ميزات CLIP كما هو مذكور في الورقة.

نحن نقدم بالفعل ميزات CLIP وBLIP المحسوبة مسبقًا للعينات الموضحة في الورقة الرئيسية والفيديو للحصول على نقطة بداية سلسة.

رخصة

لاستخدام قاعدة التعليمات البرمجية هذه، يرجى الموافقة على اتفاقية الترخيص على موقع المشروع. يمكن توجيه الأسئلة المتعلقة بالترخيص إلى [email protected]

الاقتباس

يرجى الاستشهاد ببحثنا في حالة استخدام البيانات و/أو الكود الخاص بنا. 

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل