SCULPT_release

SCULPT_lançamento (CVPR 2024)

A base de código oficial para SCULPT: Aprendizagem não pareada condicionada por forma de malhas humanas vestidas e texturizadas dependentes de pose

Site do Projeto | Download do conjunto de dados | Papel Arxiv | Vídeo

Treinamento

Primeiro clone o repositório do github.

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

Instale os pacotes e as versões correspondentes conforme mencionado no arquivo requirements.txt.

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

Instale a seguinte versão do PyTorch. O código de treinamento e inferência é testado em GPUs V100 e A100. Treinamos nossos modelos com 8 GPUs por cinco/seis dias para obter o resultado relatado.

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

Crie uma pasta de dados dentro do diretório principal.

 mkdir data

Baixe e extraia todos os dados do site do projeto e coloque-os na pasta de dados.

Não descompacte RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip que contém todas as imagens e anotações pré-processadas para treinar o SCULPT.

Em seguida, execute o seguinte comando para iniciar o treinamento

 sh trainer_cluster_mul.sh

Para treinar o SCULPT com um novo conjunto de dados, siga o script fornecido por dataset_tool.py. Mas primeiro é necessário calcular o tipo e a cor da roupa para os novos dados, conforme descrito no artigo principal. Adicionaremos os scripts para esses cálculos de recursos em uma atualização futura.

Já fornecemos o ponto de verificação para o gerador de geometria treinado, que requer cinco dias adicionais para treinar.

Também fornecemos as imagens brutas de moda (512x512) e suas anotações caso alguém queira treinar seu próprio modelo para pesquisa acadêmica.

Inferência

Primeiro, crie uma pasta de dados. Em seguida, baixe e extraia todos os dados do site do projeto e coloque-os na pasta de dados. Em seguida, execute o seguinte comando para gerar as malhas e renderizações usadas no artigo principal e no vídeo.

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

Diferentes tipos e cores de roupas podem ser combinados para gerar diversas geometrias e texturas. Isto pode ser conseguido examinando o código de inferência.

Se desejar usar o modelo pré-treinado para gerar novas amostras de cores, isso pode ser feito primeiro escrevendo comentários textuais e depois calculando os recursos CLIP conforme mencionado no artigo.

Já fornecemos os recursos CLIP e BLIP pré-computados para as amostras mostradas no artigo principal e no vídeo para um ponto de partida tranquilo.

LICENÇA

Para usar esta base de código, concorde com o contrato de licença no site do projeto. Perguntas relacionadas ao licenciamento podem ser enviadas para [email protected]

Citação

Por favor, cite nosso artigo caso utilize nossos dados e/ou código.

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}