SCULPT_release

SCULPT_release (CVPR 2024)

La base de code officielle pour SCULPT : apprentissage non apparié conditionné par la forme de maillages humains habillés et texturés dépendant de la pose

Site Web du projet | Téléchargement de l'ensemble de données | Papier Arxiv | Vidéo

Entraînement

Clonez d’abord le dépôt github.

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

Installez les packages et les versions correspondantes comme mentionné dans le fichier exigences.txt.

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

Installez la version suivante de PyTorch. Le code de formation et d'inférence est testé sur les GPU V100 et A100. Nous avons entraîné nos modèles avec 8 GPU pendant cinq/six jours pour obtenir le résultat rapporté.

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

Créez un dossier de données dans le répertoire principal.

 mkdir data

Téléchargez et extrayez toutes les données du site Web du projet et placez-les dans le dossier de données.

Ne décompressez pas RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip qui contient toutes les images et annotations prétraitées pour entraîner SCULPT.

Exécutez ensuite la commande suivante pour démarrer l'entraînement

 sh trainer_cluster_mul.sh

Pour entraîner SCULPT avec un nouvel ensemble de données, suivez le script fourni par dataset_tool.py. Mais il faut d’abord calculer le type et la couleur des vêtements pour les nouvelles données, comme décrit dans l’article principal. Nous ajouterons les scripts pour ces calculs de fonctionnalités dans une future mise à jour.

Nous fournissons déjà le point de contrôle pour le générateur de géométrie formé, ce qui nécessite cinq jours supplémentaires de formation.

Nous fournissons également les images de mode brutes (512x512) et leurs annotations au cas où l'on souhaite former son propre modèle pour la recherche universitaire.

Inférence

Tout d’abord, créez un dossier de données. Ensuite, téléchargez et extrayez toutes les données du site Web du projet et placez-les dans le dossier de données. Ensuite, exécutez la commande suivante pour générer les maillages et les rendus utilisés dans le document principal et la vidéo.

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

Différents types et couleurs de vêtements peuvent être combinés pour générer diverses géométries et textures. Ceci peut être réalisé en examinant le code d’inférence.

Si l'on souhaite utiliser le modèle pré-entraîné pour générer de nouveaux échantillons de couleurs, cela peut être fait en écrivant d'abord des commentaires textuels, puis en calculant les fonctionnalités CLIP comme mentionné dans l'article.

Nous fournissons déjà les fonctionnalités CLIP et BLIP précalculées pour les échantillons présentés dans l'article principal et la vidéo pour un point de départ fluide.

LICENCE

Pour utiliser cette base de code, veuillez accepter le contrat de licence sur le site Web du projet. Les questions liées aux licences peuvent être adressées à [email protected]

Citation

Veuillez citer notre article au cas où vous utiliseriez nos données et/ou notre code.

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}