SCULPT_release

SCULPT_release (CVPR 2024)

Die offizielle Codebasis für SCULPT: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes

Projekt-Website | Datensatz-Download | Arxiv-Papier | Video

Ausbildung

Klonen Sie zuerst das Github-Repo.

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

Installieren Sie die Pakete und die entsprechenden Versionen wie in der Datei „requirements.txt“ erwähnt.

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

Installieren Sie die folgende Version von PyTorch. Der Trainings- und Inferenzcode wird auf V100- und A100-GPUs getestet. Wir haben unsere Modelle fünf/sechs Tage lang mit 8 GPUs trainiert, um das gemeldete Ergebnis zu erhalten.

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

Erstellen Sie einen Datenordner im Hauptverzeichnis.

 mkdir data

Laden Sie alle Daten von der Projektwebsite herunter, extrahieren Sie sie und legen Sie sie im Datenordner ab.

Entpacken Sie nicht RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip , das alle vorverarbeiteten Bilder und Anmerkungen zum Trainieren von SCULPT enthält.

Führen Sie dann den folgenden Befehl aus, um mit dem Training zu beginnen

 sh trainer_cluster_mul.sh

Um SCULPT mit einem neuen Datensatz zu trainieren, befolgen Sie das von dataset_tool.py bereitgestellte Skript. Allerdings muss man zunächst den Kleidungstyp und die Kleidungsfarbe für die neuen Daten berechnen, wie im Hauptpapier beschrieben. Wir werden die Skripte für diese Feature-Berechnungen in einem zukünftigen Update hinzufügen.

Wir stellen bereits den Prüfpunkt für den trainierten Geometriegenerator bereit, dessen Training zusätzliche fünf Tage erfordert.

Wir stellen auch die rohen Modebilder (512 x 512) und ihre Anmerkungen zur Verfügung, falls Sie Ihr eigenes Modell für die akademische Forschung trainieren möchten.

Schlussfolgerung

Erstellen Sie zunächst einen Datenordner. Laden Sie anschließend alle Daten von der Projektwebsite herunter, extrahieren Sie sie und legen Sie sie im Datenordner ab. Führen Sie dann den folgenden Befehl aus, um die im Hauptpapier und im Video verwendeten Netze und Renderings zu generieren.

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

Verschiedene Kleidungstypen und -farben können kombiniert werden, um verschiedene Geometrien und Texturen zu erzeugen. Dies kann durch die Untersuchung des Inferenzcodes erreicht werden.

Wenn man das vorab trainierte Modell zum Generieren neuer Farbmuster verwenden möchte, kann dies dadurch erfolgen, dass man zunächst Textkommentare schreibt und dann die CLIP-Funktionen berechnet, wie im Artikel erwähnt.

Für einen reibungslosen Einstieg stellen wir bereits die vorberechneten CLIP- und BLIP-Funktionen für die im Hauptpapier und im Video gezeigten Beispiele bereit.

LIZENZ

Um diese Codebasis zu verwenden, stimmen Sie bitte der Lizenzvereinbarung auf der Projektwebsite zu. Fragen zur Lizenzierung können an [email protected] gerichtet werden

Zitat

Bitte zitieren Sie unser Dokument, falls Sie unsere Daten und/oder unseren Code verwenden.

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}