SCULPT_release

SCULPT_rilis (CVPR 2024)

Basis kode resmi untuk SCULPT: Pembelajaran Tak Berpasangan Berkondisi Bentuk dari Jaring Manusia Bertekstur dan Berpakaian yang Bergantung pada Pose

Situs Proyek | Unduh Kumpulan Data | Kertas Arxiv | Video

Pelatihan

Pertama-tama kloning repo github.

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

Instal paket dan versi yang sesuai seperti yang disebutkan dalam file persyaratan.txt.

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

Instal versi PyTorch berikut. Kode pelatihan dan inferensi diuji pada GPU V100 dan A100. Kami telah melatih model kami dengan 8 GPU selama lima/enam hari untuk mendapatkan hasil yang dilaporkan.

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

Buat folder data di dalam direktori utama.

 mkdir data

Unduh dan ekstrak semua data dari situs proyek dan tempatkan ke dalam folder data.

Jangan unzip RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip yang berisi semua gambar dan anotasi yang telah diproses sebelumnya untuk melatih SCULPT.

Kemudian jalankan perintah berikut untuk memulai pelatihan

 sh trainer_cluster_mul.sh

Untuk melatih SCULPT dengan dataset baru, ikuti skrip yang disediakan oleh dataset_tool.py. Namun pertama-tama kita perlu menghitung jenis pakaian dan warna pakaian untuk data baru seperti yang dijelaskan di makalah utama. Kami akan menambahkan skrip untuk penghitungan fitur ini di pembaruan mendatang.

Kami telah menyediakan pos pemeriksaan untuk generator geometri terlatih yang memerlukan tambahan lima hari untuk pelatihan.

Kami juga menyediakan gambar mode mentah (512x512) dan anotasinya jika seseorang ingin melatih modelnya sendiri untuk penelitian akademis.

Kesimpulan

Pertama, buat folder data. Selanjutnya, unduh dan ekstrak semua data dari situs proyek dan letakkan ke dalam folder data. Kemudian, jalankan perintah berikut untuk menghasilkan jerat dan rendering yang digunakan dalam makalah utama dan video.

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

Jenis dan warna pakaian yang berbeda dapat dipadukan untuk menghasilkan geometri dan tekstur yang berbeda. Hal ini dapat dicapai dengan memeriksa kode inferensi.

Jika seseorang ingin menggunakan model yang telah dilatih sebelumnya untuk menghasilkan sampel warna baru, hal ini dapat dilakukan dengan terlebih dahulu menulis komentar tekstual dan kemudian menghitung fitur CLIP seperti yang disebutkan dalam makalah.

Kami telah menyediakan fitur CLIP dan BLIP yang telah dihitung sebelumnya untuk sampel yang ditampilkan di makalah utama dan video untuk titik awal yang lancar.

LISENSI

Untuk menggunakan basis kode ini, harap setujui perjanjian lisensi di situs proyek. Pertanyaan terkait perizinan dapat ditujukan ke [email protected]

Kutipan

Silakan kutip makalah kami jika Anda menggunakan data dan/atau kode kami.

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}