[Бумажная страница] [бумага] [Supp. Мат.]
Программное обеспечение лицензии на авторские права для целей некоммерческих научных исследований . Пожалуйста, внимательно прочитайте положения и условия и любую сопровождающую документацию перед загрузкой и/или используйте модель SMPL-X/SMPLIFY-X, данные и программное обеспечение («Модель и программное обеспечение»), включая 3D-сетки, веса смешивания, формы смеси , текстуры, программное обеспечение, сценарии и анимации. Загрузив и/или используя модель и программное обеспечение (включая загрузку, клонирование, установку и любое другое использование этого репозитория GitHub), вы признаете, что прочитали эти условия, понимаете их и соглашаетесь быть связанными ими. Если вы не согласны с настоящими Условиями, вы не должны загружать и/или использовать модель и программное обеспечение. Любое нарушение условий настоящего Соглашения автоматически прекратит ваши права в соответствии с настоящей лицензией.
Оригинальные изображения, используемые для рисунков 1 и 2 бумаги, можно найти в этой ссылке. Изображения в статье используются по лицензии от gettyimages.com. Мы приобрели право использовать их в публикации, но перераспределение не разрешено. Пожалуйста, перейдите по инструкциям по данной ссылке, чтобы получить право на использование. Наши результаты получены по разрешению исходных изображений 483 × 724 пикселей.
SMPL-X (SMPL Expressive)-это унифицированная модель тела с параметрами формы, обученные совместно для лица, рук и тела. SMPL-X использует стандартную линейную линейную смеси на основе вершины с помощью обученных корректирующих форм смеси, имеет n = 10, 475 вершин и k = 54 сустава, которые включают в себя суставы для шеи, челюсти, глазных яблок и пальцев. SMPL-X определяется функцией M (θ, β, ψ), где θ-параметры позы, β параметры формы и ψ параметры выражения лица.
Чтобы установить модель, выполните следующие шаги в указанном порядке:
pip install smplx[all]git clone https://github.com/vchoutas/smplx
python setup.py installЧтобы загрузить модель SMPL-X , перейдите на этот веб-сайт проекта и зарегистрируйтесь, чтобы получить доступ к разделу загрузки.
Чтобы загрузить модель SMPL+H, перейдите на этот веб -сайт проекта и зарегистрируйтесь, чтобы получить доступ к разделу загрузки.
Чтобы загрузить модель SMPL , перейдите к этим (мужским и женским моделям) и этот веб -сайт проекта (гендерная нейтральная модель) и зарегистрируйтесь, чтобы получить доступ к разделу загрузки.
Погрузчик дает возможность использовать любую из моделей SMPL-X, SMPL+H, SMPL и MANO. В зависимости от модели, которую вы хотите использовать, пожалуйста, следуйте соответствующим инструкциям загрузки. Чтобы переключиться между MANO, SMPL, SMPL+H и SMPL-X, просто измените параметры MODEL_PATH или MODEL_TYPE . Для получения более подробной информации, пожалуйста, проверьте документы модельных классов. Перед использованием SMPL и SMPL+H вы должны следовать инструкциям в инструментах/readme.md, чтобы удалить Chumpy объектов из обеих моделей PKL, а также объединить параметры MANO с SMPL+H.
Вы можете использовать функцию Create из Body_Models или напрямую вызовать конструктор для модели SMPL, SMPL+H и SMPL-X. Путь к модели может быть либо пути к файлу с параметрами, либо каталогом со следующей структурой:
models
├── smpl
│ ├── SMPL_FEMALE.pkl
│ └── SMPL_MALE.pkl
│ └── SMPL_NEUTRAL.pkl
├── smplh
│ ├── SMPLH_FEMALE.pkl
│ └── SMPLH_MALE.pkl
├── mano
| ├── MANO_RIGHT.pkl
| └── MANO_LEFT.pkl
└── smplx
├── SMPLX_FEMALE.npz
├── SMPLX_FEMALE.pkl
├── SMPLX_MALE.npz
├── SMPLX_MALE.pkl
├── SMPLX_NEUTRAL.npz
└── SMPLX_NEUTRAL.pklПереписка Vertex между SMPL-X и MANO, Flame можно загрузить с веб-сайта Project. Если вы извлекли данные соответствия в соответствии с папками, то используйте следующие сценарии, чтобы их визуализировать:
python examples/vis_mano_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/MANO_SMPLX_vertex_ids.pkl
python examples/vis_flame_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/SMPL-X__FLAME_vertex_ids.npy
После установки пакета SMPLX и загрузки параметров модели, вы сможете запустить сценарий demo.py, чтобы визуализировать результаты. Для этого шага вы должны установить пакеты Pyrender и Trimesh.
python examples/demo.py --model-folder $SMPLX_FOLDER --plot-joints=True --gender="neutral"
Если вы хотите изменить глобальную позу модели, то есть вращение корня и перевод, например, к новой системе координат, вам необходимо принять во внимание, что вращение модели использует таз в качестве центра вращения. Более подробное описание можно найти в следующей ссылке. Если что -то неясно, пожалуйста, дайте мне знать, чтобы я мог обновить описание.
В зависимости от того, какая модель загружена для вашего проекта, то есть SMPL-X или SMPL+H или SMPL, укажите наиболее релевантную работу ниже, указанную в том же порядке:
@inproceedings{SMPL-X:2019,
title = {Expressive Body Capture: 3D Hands, Face, and Body from a Single Image},
author = {Pavlakos, Georgios and Choutas, Vasileios and Ghorbani, Nima and Bolkart, Timo and Osman, Ahmed A. A. and Tzionas, Dimitrios and Black, Michael J.},
booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
year = {2019}
}
@article{MANO:SIGGRAPHASIA:2017,
title = {Embodied Hands: Modeling and Capturing Hands and Bodies Together},
author = {Romero, Javier and Tzionas, Dimitrios and Black, Michael J.},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
volume = {36},
number = {6},
series = {245:1--245:17},
month = nov,
year = {2017},
month_numeric = {11}
}
@article{SMPL:2015,
author = {Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J.},
title = {{SMPL}: A Skinned Multi-Person Linear Model},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
month = oct,
number = {6},
pages = {248:1--248:16},
publisher = {ACM},
volume = {34},
year = {2015}
}
Этот репозиторий был первоначально разработан для SMPL-X/SMPLIFY-X (CVPR 2019), вам может быть заинтересовано, чтобы взглянуть: https://smpl-x.is.tue.mpg.de.
Особая благодарность Soubhik Sanyal за то, что он поделился кодом Tensorflow, используемым для достопримечательностей лица.
Код этого хранилища был реализован Vassilis Choutas.
По вопросам, пожалуйста, свяжитесь с [email protected].
Для коммерческого лицензирования (и всех связанных вопросов для бизнес-приложений), пожалуйста, свяжитесь с [email protected].
