SCULPT_release
1.0.0
SCULPT의 공식 코드베이스: 포즈 의존적 의상 및 텍스처 인간 메시의 모양 조건 비대응 학습
프로젝트 웹사이트 | 데이터세트 다운로드 | Arxiv 종이 | 동영상
먼저 github 저장소를 복제하세요.
git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release
요구 사항.txt 파일에 언급된 대로 패키지와 해당 버전을 설치합니다.
python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt
다음 버전의 PyTorch를 설치하세요. 훈련 및 추론 코드는 V100 및 A100 GPU에서 테스트되었습니다. 보고된 결과를 얻기 위해 5~6일 동안 8개의 GPU로 모델을 훈련했습니다.
torch 1.13.1
torchaudio 0.13.1
torchmetrics 0.11.1
torchvision 0.14.1
기본 디렉터리 내에 데이터 폴더를 만듭니다.
mkdir data
프로젝트 웹사이트에서 모든 데이터를 다운로드하고 추출하여 데이터 폴더에 넣습니다.
SCULPT를 교육하기 위해 전처리된 이미지와 주석이 모두 포함된 RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip 의 압축을 풀지 마세요 .
그런 다음 다음 명령을 실행하여 훈련을 시작합니다.
sh trainer_cluster_mul.sh
새로운 데이터세트로 SCULPT를 훈련하려면 dataset_tool.py에서 제공하는 스크립트를 따르세요. 하지만 먼저 본문에 설명된 대로 새 데이터에 대한 의류 유형과 의류 색상을 계산해야 합니다. 향후 업데이트에서 이러한 기능 계산을 위한 스크립트를 추가할 예정입니다.
우리는 훈련하는 데 5일이 추가로 필요한 훈련된 형상 생성기에 대한 체크포인트를 이미 제공했습니다.
또한 학문적 연구를 위해 자체 모델을 훈련하려는 경우를 위해 원시 패션 이미지(512x512)와 해당 주석을 제공합니다.
먼저 데이터 폴더를 생성합니다. 다음으로, 프로젝트 웹사이트에서 모든 데이터를 다운로드하고 추출하여 데이터 폴더에 넣습니다. 그런 다음 다음 명령을 실행하여 본문과 비디오에 사용되는 메시와 렌더링을 생성합니다.
python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir
다양한 의류 유형과 색상을 결합하여 다양한 기하학적 구조와 질감을 생성할 수 있습니다. 이는 추론 코드를 검사하여 달성할 수 있습니다.
사전 학습된 모델을 사용하여 새로운 색상 샘플을 생성하려는 경우 먼저 텍스트 주석을 작성한 다음 논문에 언급된 대로 CLIP 기능을 계산하면 됩니다.
우리는 원활한 시작점을 위해 본문과 비디오에 표시된 샘플에 대해 사전 계산된 CLIP 및 BLIP 기능을 이미 제공합니다.
이 코드베이스를 사용하려면 프로젝트 웹사이트의 라이선스 계약에 동의하세요. 라이센스와 관련된 질문은 [email protected]로 문의하십시오.
당사의 데이터 및/또는 코드를 사용하는 경우 당사 논문을 인용해 주십시오.
@inproceedings{SCULPT:CVPR:2024,
title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year = {2024},
}
