SCULPT_release

SCULPT_выпуск (CVPR 2024)

Официальная база кода для SCULPT: непарное обучение с учетом позы одетых и текстурированных человеческих сеток.

Сайт проекта | Загрузка набора данных | Арксив Бумага | Видео

Обучение

Сначала клонируйте репозиторий GitHub.

 git clone https://github.com/soubhiksanyal/SCULPT_release.git
cd SCULPT_release

Установите пакеты и соответствующие версии, как указано в файле require.txt.

 python3 -m venv SCULPT
source SCULPT/bin/activate
pip install -r requirements.txt

Установите следующую версию PyTorch. Код обучения и вывода тестируется на графических процессорах V100 и A100. Мы обучали наши модели с 8 графическими процессорами в течение пяти/шести дней, чтобы получить отчетный результат.

 torch                    1.13.1
torchaudio               0.13.1
torchmetrics             0.11.1
torchvision              0.14.1

Создайте папку данных внутри основного каталога.

 mkdir data

Загрузите и извлеките все данные с веб-сайта проекта и поместите их в папку данных.

Не разархивируйте файл RGB_with_same_pose_white_16362_withclothinglabel_withnormals_withcolors_MODNetSegment_withalpha.zip , который содержит все предварительно обработанные изображения и аннотации для обучения SCULPT.

Затем выполните следующую команду, чтобы начать обучение

 sh trainer_cluster_mul.sh

Чтобы обучить SCULPT с новым набором данных, следуйте сценарию, предоставленному dataset_tool.py. Но сначала необходимо вычислить тип и цвет одежды для новых данных, как описано в основной статье. Мы добавим сценарии для вычислений этих функций в будущем обновлении.

Мы уже предоставляем контрольную точку для обученного генератора геометрии, для обучения которой требуется дополнительно пять дней.

Мы также предоставляем необработанные изображения мод (512x512) и их аннотации на случай, если кто-то захочет подготовить собственную модель для академических исследований.

Вывод

Сначала создайте папку данных. Затем загрузите и извлеките все данные с веб-сайта проекта и поместите их в папку данных. Затем выполните следующую команду, чтобы создать сетки и визуализацию, используемые в основной статье и видео.

 python gen_images_dataloader_with_render.py --network ./data/network-snapshot-025000.pkl --seeds 0 --outdir ./outdir

Различные типы и цвета одежды можно комбинировать для создания различной геометрии и текстуры. Этого можно достичь, исследуя код вывода.

Если кто-то хочет использовать предварительно обученную модель для генерации новых образцов цвета, это можно сделать, сначала написав текстовые комментарии, а затем вычислив функции CLIP, как указано в статье.

Мы уже предоставляем предварительно рассчитанные функции CLIP и BLIP для образцов, показанных в основной статье и видео, для плавной отправной точки.

ЛИЦЕНЗИЯ

Чтобы использовать эту кодовую базу, согласитесь с лицензионным соглашением на сайте проекта. Вопросы, связанные с лицензированием, можно адресовать по адресу [email protected].

Цитирование

Пожалуйста, цитируйте нашу статью, если вы используете наши данные и/или код.

 @inproceedings{SCULPT:CVPR:2024,
  title = {{SCULPT}: Shape-Conditioned Unpaired Learning of Pose-dependent Clothed and Textured Human Meshes},
  author = {Sanyal, Soubhik and Ghosh, Partha and Yang, Jinlong and Black, Michael J. and Thies, Justus and Bolkart, Timo},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2024},
}