SCULPT_release

SCULPT_release（CVPR 2024）

SCULPT 的官方代碼庫：姿勢相關的服裝和紋理人體網格的形狀條件非配對學習

專案網站|資料集下載| Arxiv 論文|影片

訓練

首先克隆 github 儲存庫。

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

安裝requirements.txt 檔案中提到的軟體包和對應版本。

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

安裝以下版本的 PyTorch。訓練和推理程式碼在 V100 和 A100 GPU 上進行了測試。我們使用 8 個 GPU 對模型進行了五到六天的訓練，以獲得報告的結果。

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

在主目錄中建立一個資料資料夾。

 mkdir data

從專案網站下載並提取所有資料並將它們放入資料資料夾中。

不要解壓縮RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip ，其中包含用於訓練 SCULPT 的所有預處理圖像和註釋。

然後執行以下命令開始訓練

 sh trainer_cluster_mul.sh

若要使用新資料集訓練 SCULPT，請遵循 dataset_tool.py 提供的腳本。但首先需要計算新數據的服裝類型和服裝顏色，如主論文所述。我們將在未來的更新中添加用於這些特徵計算的腳本。

我們已經為經過訓練的幾何生成器提供了檢查點，這需要額外五天的訓練。

我們還提供原始時尚圖像 (512x512) 及其註釋，以防人們想要訓練自己的模型進行學術研究。

推理

首先，建立一個資料資料夾。接下來，從專案網站下載並提取所有資料並將它們放入資料資料夾中。然後，執行以下命令來產生主論文和影片中使用的網格和渲染。

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

不同的服裝類型和顏色可以組合起來產生各種幾何形狀和紋理。這可以透過檢查推理代碼來實現。

如果希望使用預訓練模型產生新的顏色樣本，可以透過先編寫文字註釋，然後計算論文中提到的 CLIP 特徵來完成。

我們已經為主要論文和影片中顯示的範例提供了預先計算的 CLIP 和 BLIP 特徵，以實現順利的起點。

執照

若要使用此程式碼庫，請同意專案網站上的授權協議。與許可相關的問題可以發送至 [email protected]

引文

如果您使用我們的資料和/或程式碼，請引用我們的論文。

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}