SCULPT_release

SCULPT_lanzamiento (CVPR 2024)

El código base oficial de SCULPT: aprendizaje no emparejado condicionado por la forma de mallas humanas vestidas y texturizadas que dependen de la pose

Sitio web del proyecto | Descarga del conjunto de datos | Papel Arxiv | Video

Capacitación

Primero clona el repositorio de github.

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

Instale los paquetes y las versiones correspondientes como se menciona en el archivo requisitos.txt.

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

Instale la siguiente versión de PyTorch. El código de entrenamiento e inferencia se prueba en las GPU V100 y A100. Hemos entrenado nuestros modelos con 8 GPU durante cinco/seis días para obtener el resultado informado.

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

Cree una carpeta de datos dentro del directorio principal.

 mkdir data

Descargue y extraiga todos los datos del sitio web del proyecto y colóquelos en la carpeta de datos.

No descomprima RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip , que contiene todas las imágenes preprocesadas y anotaciones para entrenar SCULPT.

Luego ejecute el siguiente comando para comenzar a entrenar.

 sh trainer_cluster_mul.sh

Para entrenar SCULPT con un nuevo conjunto de datos, siga el script proporcionado por dataset_tool.py. Pero primero es necesario calcular el tipo y el color de la ropa para los nuevos datos, como se describe en el documento principal. Agregaremos los scripts para estos cálculos de funciones en una actualización futura.

Ya proporcionamos el punto de control para el generador de geometría entrenado, cuyo entrenamiento requiere cinco días adicionales.

También proporcionamos las imágenes de moda en bruto (512x512) y sus anotaciones en caso de que uno quiera entrenar su propio modelo para la investigación académica.

Inferencia

Primero, cree una carpeta de datos. A continuación, descargue y extraiga todos los datos del sitio web del proyecto y colóquelos en la carpeta de datos. Luego, ejecute el siguiente comando para generar las mallas y renderizados utilizados en el artículo principal y el video.

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

Se pueden combinar diferentes tipos de ropa y colores para generar diversas geometrías y texturas. Esto se puede lograr examinando el código de inferencia.

Si se desea utilizar el modelo previamente entrenado para generar nuevas muestras de color, esto se puede hacer escribiendo primero comentarios textuales y luego calculando las características CLIP como se menciona en el artículo.

Ya proporcionamos las funciones CLIP y BLIP precalculadas para las muestras que se muestran en el artículo principal y el vídeo para un punto de partida sin problemas.

LICENCIA

Para utilizar este código base, acepte el acuerdo de licencia en el sitio web del proyecto. Las preguntas relacionadas con las licencias pueden dirigirse a [email protected]

Citación

Cite nuestro artículo en caso de que utilice nuestros datos y/o código.

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}