SCULPT_release
1.0.0
SCULPT 的官方代码库：姿势相关的服装和纹理人体网格的形状条件非配对学习
项目网站|数据集下载| Arxiv 论文|视频
首先克隆 github 存储库。
git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release
安装requirements.txt 文件中提到的软件包和相应版本。
python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt
安装以下版本的 PyTorch。训练和推理代码在 V100 和 A100 GPU 上进行了测试。我们使用 8 个 GPU 对模型进行了五六天的训练，以获得报告的结果。
torch 1.13.1
torchaudio 0.13.1
torchmetrics 0.11.1
torchvision 0.14.1
在主目录中创建一个数据文件夹。
mkdir data
从项目网站下载并提取所有数据并将它们放入数据文件夹中。
不要解压缩RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip ，其中包含用于训练 SCULPT 的所有预处理图像和注释。
然后运行以下命令开始训练
sh trainer_cluster_mul.sh
要使用新数据集训练 SCULPT，请遵循 dataset_tool.py 提供的脚本。但首先需要计算新数据的服装类型和服装颜色，如主论文中所述。我们将在未来的更新中添加用于这些特征计算的脚本。
我们已经为经过训练的几何生成器提供了检查点，这需要额外五天的训练。
我们还提供原始时尚图像 (512x512) 及其注释，以防人们想要训练自己的模型进行学术研究。
首先，创建一个数据文件夹。接下来，从项目网站下载并提取所有数据并将它们放入数据文件夹中。然后，运行以下命令来生成主论文和视频中使用的网格和渲染。
python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir
不同的服装类型和颜色可以组合起来产生各种几何形状和纹理。这可以通过检查推理代码来实现。
如果希望使用预训练模型生成新的颜色样本，可以通过首先编写文本注释，然后计算论文中提到的 CLIP 特征来完成。
我们已经为主要论文和视频中显示的示例提供了预先计算的 CLIP 和 BLIP 特征，以实现顺利的起点。
要使用此代码库，请同意项目网站上的许可协议。与许可相关的问题可以发送至 [email protected]
如果您使用我们的数据和/或代码，请引用我们的论文。
@inproceedings{SCULPT:CVPR:2024,
title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year = {2024},
}
