[Página do papel] [Paper] [Supp. Esteira.]
Licença de direitos autorais de software para fins de pesquisa científica não comerciais . Leia cuidadosamente os termos e condições e qualquer documentação que o acompanha antes de fazer o download e/ou usar o modelo SMPL-X/Smplify-X, dados e software (o "Modelo e Software"), incluindo malhas 3D, pesos de mistura, formas de mistura , texturas, software, scripts e animações. Ao baixar e/ou usar o modelo e o software (incluindo download, clonagem, instalação e qualquer outro uso deste repositório do GitHub), você reconhece que leu estes Termos e Condições, entende -os e concorda em estar vinculado por eles. Se você não concorda com estes Termos e Condições, não deve baixar e/ou usar o modelo e o software. Qualquer violação dos termos deste Contrato encerrará automaticamente seus direitos sob esta licença.
As imagens originais usadas para as figuras 1 e 2 do papel podem ser encontradas neste link. As imagens no artigo são usadas sob licença do gettyimages.com. Adquirimos o direito de usá -los na publicação, mas a redistribuição não é permitida. Siga as instruções sobre o link fornecido para adquirir o direito de uso. Nossos resultados são obtidos na resolução de 483 × 724 pixels das imagens originais.
SMPL-X (SMPL Expressivo) é um modelo de corpo unificado com parâmetros de forma treinados em conjunto para o rosto, as mãos e o corpo. O SMPL-X usa a mistura linear baseada em vértice padrão, com formas de mistura corretivas aprendidas, possui n = 10, 475 vértices e k = 54 juntas, que incluem articulações para o pescoço, mandíbula, globos oculares e dedos. SMPL-X é definido por uma função m (θ, β, ψ), onde θ é os parâmetros de pose, β os parâmetros de forma e ψ os parâmetros de expressão facial.
Para instalar o modelo, siga as próximas etapas no pedido especificado:
pip install smplx[all]git clone https://github.com/vchoutas/smplx
python setup.py installPara baixar o modelo SMPL-X, acesse este site do projeto e registre-se para obter acesso à seção de downloads.
Para baixar o modelo SMPL+H, acesse este site do projeto e registre -se para obter acesso à seção de downloads.
Para baixar o modelo SMPL , vá para este (modelos masculinos e femininos) e este site do projeto (modelo neutro de gênero) e registre -se para obter acesso à seção de downloads.
O carregador oferece a opção de usar qualquer um dos modelos SMPL-X, SMPL+H, SMPL e MANO. Dependendo do modelo que você deseja usar, siga as respectivas instruções de download. Para alternar entre MANO, SMPL, SMPL+H e SMPL-X Basta alterar os parâmetros Model_Path ou Model_Type . Para mais detalhes, verifique os documentos das classes de modelo. Antes de usar SMPL e SMPL+H, você deve seguir as instruções nas ferramentas/readme.md para remover os objetos chumpy de ambos os PKLs do modelo, além de mesclar os parâmetros de mano com smpl+h.
Você pode usar a função Criar do Body_models ou chamar diretamente o construtor para o modelo SMPL, SMPL+H e SMPL-X. O caminho para o modelo pode ser o caminho para o arquivo com os parâmetros ou um diretório com a seguinte estrutura:
models
├── smpl
│ ├── SMPL_FEMALE.pkl
│ └── SMPL_MALE.pkl
│ └── SMPL_NEUTRAL.pkl
├── smplh
│ ├── SMPLH_FEMALE.pkl
│ └── SMPLH_MALE.pkl
├── mano
| ├── MANO_RIGHT.pkl
| └── MANO_LEFT.pkl
└── smplx
├── SMPLX_FEMALE.npz
├── SMPLX_FEMALE.pkl
├── SMPLX_MALE.npz
├── SMPLX_MALE.pkl
├── SMPLX_NEUTRAL.npz
└── SMPLX_NEUTRAL.pklAs correspondências do Vertex entre SMPL-X e Mano, Flame podem ser baixadas no site do projeto. Se você extraiu os dados da correspondência nas correspondências da pasta, use os seguintes scripts para visualizá -los:
python examples/vis_mano_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/MANO_SMPLX_vertex_ids.pkl
python examples/vis_flame_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/SMPL-X__FLAME_vertex_ids.npy
Depois de instalar o pacote SMPLX e baixar os parâmetros do modelo, você poderá executar o script Demo.py para visualizar os resultados. Para esta etapa, você deve instalar os pacotes Pyrender e Trimesh.
python examples/demo.py --model-folder $SMPLX_FOLDER --plot-joints=True --gender="neutral"
Se você deseja modificar a pose global do modelo, ou seja, a rotação e a tradução da raiz, para um novo sistema de coordenadas, por exemplo, você precisa levar em consideração que a rotação do modelo usa a pélvis como centro de rotação. Uma descrição mais detalhada pode ser encontrada no link a seguir. Se algo não estiver claro, informe -me para que eu possa atualizar a descrição.
Dependendo de qual modelo é carregado para o seu projeto, ou seja, SMPL-X ou SMPL+H ou SMPL, cite o trabalho mais relevante abaixo, listado na mesma ordem:
@inproceedings{SMPL-X:2019,
title = {Expressive Body Capture: 3D Hands, Face, and Body from a Single Image},
author = {Pavlakos, Georgios and Choutas, Vasileios and Ghorbani, Nima and Bolkart, Timo and Osman, Ahmed A. A. and Tzionas, Dimitrios and Black, Michael J.},
booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
year = {2019}
}
@article{MANO:SIGGRAPHASIA:2017,
title = {Embodied Hands: Modeling and Capturing Hands and Bodies Together},
author = {Romero, Javier and Tzionas, Dimitrios and Black, Michael J.},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
volume = {36},
number = {6},
series = {245:1--245:17},
month = nov,
year = {2017},
month_numeric = {11}
}
@article{SMPL:2015,
author = {Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J.},
title = {{SMPL}: A Skinned Multi-Person Linear Model},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
month = oct,
number = {6},
pages = {248:1--248:16},
publisher = {ACM},
volume = {34},
year = {2015}
}
Este repositório foi originalmente desenvolvido para SMPL-X/SMPLIFY-X (CVPR 2019), você pode estar interessado em dar uma olhada: https://smpl-x.is.tue.mpg.de.
Agradecimentos especiais a Soubhik Sanyal por compartilhar o código do tensorflow usado para os marcos faciais.
O código deste repositório foi implementado por Vassilis Choutas.
Para perguntas, entre em contato com [email protected].
Para licenciamento comercial (e todas as perguntas relacionadas para aplicativos de negócios), entre em contato com [email protected].
