หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

SCULPT_release (CVPR 2024)

รหัสฐานอย่างเป็นทางการสำหรับ SCULPT: การเรียนรู้แบบไม่จับคู่ที่มีเงื่อนไขตามรูปร่างของตาข่ายมนุษย์ที่สวมเสื้อผ้าและพื้นผิวที่ขึ้นกับท่าทาง

เว็บไซต์โครงการ | ดาวน์โหลดชุดข้อมูล | กระดาษอาร์ซิฟ | วีดีโอ

การฝึกอบรม

ขั้นแรกให้ทำการโคลน repo github 

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

ติดตั้งแพ็กเกจและเวอร์ชันที่เกี่ยวข้องตามที่กล่าวไว้ในไฟล์ Requirements.txt 

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

ติดตั้ง PyTorch เวอร์ชันต่อไปนี้ รหัสการฝึกอบรมและการอนุมานได้รับการทดสอบบน GPU V100 และ A100 เราได้ฝึกอบรมโมเดลของเราด้วย GPU 8 ตัวเป็นเวลาห้าหรือหกวันเพื่อรับผลลัพธ์ที่รายงาน 

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

สร้างโฟลเดอร์ข้อมูลภายในไดเร็กทอรีหลัก 

 mkdir data

ดาวน์โหลดและแยกข้อมูลทั้งหมดจากเว็บไซต์โครงการและวางลงในโฟลเดอร์ข้อมูล

อย่าแตก RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip ซึ่งมีรูปภาพและคำอธิบายประกอบที่ประมวลผลไว้ล่วงหน้าทั้งหมดเพื่อฝึก SCULPT

จากนั้นรันคำสั่งต่อไปนี้เพื่อเริ่มการฝึก 

 sh trainer_cluster_mul.sh

หากต้องการฝึก SCULPT ด้วยชุดข้อมูลใหม่ ให้ทำตามสคริปต์ที่ได้รับจาก dataset_tool.py แต่ก่อนอื่นเราต้องคำนวณประเภทเสื้อผ้าและสีเสื้อผ้าสำหรับข้อมูลใหม่ตามที่อธิบายไว้ในรายงานหลัก เราจะเพิ่มสคริปต์สำหรับการคำนวณฟีเจอร์เหล่านี้ในการอัปเดตในอนาคต

เราได้จัดเตรียมจุดตรวจสอบสำหรับเครื่องกำเนิดเรขาคณิตที่ผ่านการฝึกอบรมแล้ว ซึ่งต้องใช้เวลาในการฝึกเพิ่มอีกห้าวัน

นอกจากนี้เรายังจัดเตรียมรูปภาพแฟชั่นดิบ (512x512) และคำอธิบายประกอบไว้ด้วย เผื่อในกรณีที่ต้องการฝึกอบรมโมเดลของตนเองสำหรับการวิจัยเชิงวิชาการ

การอนุมาน

ขั้นแรก สร้างโฟลเดอร์ข้อมูล จากนั้น ให้ดาวน์โหลดและแยกข้อมูลทั้งหมดจากเว็บไซต์โครงการและวางไว้ในโฟลเดอร์ข้อมูล จากนั้น รันคำสั่งต่อไปนี้เพื่อสร้าง meshes และการเรนเดอร์ที่ใช้ในรายงานหลักและวิดีโอ 

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

ประเภทและสีของเสื้อผ้าที่แตกต่างกันสามารถนำมารวมกันเพื่อสร้างรูปทรงและพื้นผิวที่หลากหลายได้ ซึ่งสามารถทำได้โดยการตรวจสอบรหัสการอนุมาน

หากต้องการใช้แบบจำลองที่ได้รับการฝึกล่วงหน้าเพื่อสร้างตัวอย่างสีใหม่ สามารถทำได้โดยการเขียนความคิดเห็นที่เป็นข้อความก่อน จากนั้นจึงคำนวณคุณสมบัติ CLIP ตามที่กล่าวไว้ในรายงาน

เราได้จัดเตรียมคุณลักษณะ CLIP และ BLIP ที่คำนวณไว้ล่วงหน้าสำหรับตัวอย่างที่แสดงในรายงานหลักและวิดีโอแล้วเพื่อจุดเริ่มต้นที่ราบรื่น

ใบอนุญาต

หากต้องการใช้โค้ดเบสนี้ โปรดยอมรับข้อตกลงใบอนุญาตที่เว็บไซต์ของโครงการ คำถามที่เกี่ยวข้องกับการออกใบอนุญาตสามารถส่งไปที่ [email protected]

การอ้างอิง

โปรดอ้างอิงเอกสารของเราในกรณีที่คุณใช้ข้อมูลและ/หรือรหัสของเรา 

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด