[Page papier] [Paper] [Supp. Tapis.]
Licence de droit d'auteur de logiciels à des fins de recherche scientifique non commerciale . Veuillez lire attentivement les termes et conditions et toute documentation d'accompagnement avant de télécharger et / ou d'utiliser le modèle SMPL-X / SMPLIFY-X, les données et les logiciels, (le "modèle et logiciel"), y compris les mailles 3D, les poids de mélange, les formes de mélange , Textures, logiciels, scripts et animations. En téléchargeant et / ou en utilisant le modèle et le logiciel (y compris le téléchargement, le clonage, l'installation et toute autre utilisation de ce référentiel GitHub), vous reconnaissez que vous avez lu ces termes et conditions, les comprendre et accepter d'être lié par eux. Si vous n'êtes pas d'accord avec ces termes et conditions, vous ne devez pas télécharger et / ou utiliser le modèle et le logiciel. Toute violation des termes du présent accord mettra en fin de compte vos droits en vertu de cette licence.
Les images originales utilisées pour les figures 1 et 2 du papier se trouvent dans ce lien. Les images du journal sont utilisées sous licence de gettyimages.com. Nous avons acquis le droit de les utiliser dans la publication, mais la redistribution n'est pas autorisée. Veuillez suivre les instructions sur le lien donné pour acquérir le droit d'utilisation. Nos résultats sont obtenus sur la résolution 483 × 724 pixels des images originales.
SMPL-X (SMPL Expressive) est un modèle de corps unifié avec des paramètres de forme formés conjointement pour le visage, les mains et le corps. SMPL-X utilise le mélange linéaire à base de sommets standard avec des formes de mélange correctives apprises, a n = 10, 475 sommets et k = 54 joints, qui comprennent des articulations pour le cou, la mâchoire, les globes oculaires et les doigts. SMPL-X est défini par une fonction m (θ, β, ψ), où θ est les paramètres de pose, β les paramètres de forme et ψ les paramètres d'expression faciale.
Pour installer le modèle, veuillez suivre les étapes suivantes de l'ordre spécifié:
pip install smplx[all]git clone https://github.com/vchoutas/smplx
python setup.py installPour télécharger le modèle SMPL-X , accédez à ce site Web du projet et inscrivez-vous pour accéder à la section Téléchargements.
Pour télécharger le modèle SMPL + H, accédez à ce site Web du projet et inscrivez-vous pour accéder à la section Téléchargements.
Pour télécharger le modèle SMPL , allez sur ce site Web (modèles masculins et féminins) et ce site Web (modèle neutre) et inscrivez-vous pour accéder à la section Téléchargements.
Le chargeur donne la possibilité d'utiliser l'un des modèles SMPL-X, SMPL + H, SMPL et MANO. Selon le modèle que vous souhaitez utiliser, veuillez suivre les instructions de téléchargement respectives. Pour basculer entre Mano, SMPL, SMPL + H et SMPL-X, modifiez simplement les paramètres Model_Path ou Model_Type . Pour plus de détails, veuillez consulter les documents des classes de modèle. Avant d'utiliser SMPL et SMPL + H, vous devez suivre les instructions dans Tools / Readme.md pour supprimer les objets chumpy des deux modèles PKLS, ainsi que pour fusionner les paramètres mano avec SMPL + H.
Vous pouvez soit utiliser la fonction de création à partir de Body_Models, soit appeler directement le constructeur du modèle SMPL, SMPL + H et SMPL-X. Le chemin d'accès au modèle peut être le chemin du fichier avec les paramètres ou un répertoire avec la structure suivante:
models
├── smpl
│ ├── SMPL_FEMALE.pkl
│ └── SMPL_MALE.pkl
│ └── SMPL_NEUTRAL.pkl
├── smplh
│ ├── SMPLH_FEMALE.pkl
│ └── SMPLH_MALE.pkl
├── mano
| ├── MANO_RIGHT.pkl
| └── MANO_LEFT.pkl
└── smplx
├── SMPLX_FEMALE.npz
├── SMPLX_FEMALE.pkl
├── SMPLX_MALE.npz
├── SMPLX_MALE.pkl
├── SMPLX_NEUTRAL.npz
└── SMPLX_NEUTRAL.pklLes correspondances du sommet entre SMPL-X et Mano, Flame peut être téléchargée à partir du site Web du projet. Si vous avez extrait les données de correspondance dans les correspondances du dossier, utilisez les scripts suivants pour les visualiser:
python examples/vis_mano_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/MANO_SMPLX_vertex_ids.pkl
python examples/vis_flame_vertices.py --model-folder $SMPLX_FOLDER --corr-fname correspondences/SMPL-X__FLAME_vertex_ids.npy
Après avoir installé le package SMPLX et télécharger les paramètres du modèle, vous devriez pouvoir exécuter le script Demo.py pour visualiser les résultats. Pour cette étape, vous devez installer les packages Pyrender et Trimesh.
python examples/demo.py --model-folder $SMPLX_FOLDER --plot-joints=True --gender="neutral"
Si vous souhaitez modifier la pose globale du modèle, c'est-à-dire la rotation racine et la traduction, en un nouveau système de coordonnées par exemple, vous devez prendre en compte que la rotation du modèle utilise le bassin comme centre de rotation. Une description plus détaillée peut être trouvée dans le lien suivant. Si quelque chose n'est pas clair, faites-le moi savoir afin que je puisse mettre à jour la description.
Selon le modèle chargé pour votre projet, c'est-à-dire SMPL-X ou SMPL + H ou SMPL, veuillez citer le travail le plus pertinent ci-dessous, répertorié dans le même ordre:
@inproceedings{SMPL-X:2019,
title = {Expressive Body Capture: 3D Hands, Face, and Body from a Single Image},
author = {Pavlakos, Georgios and Choutas, Vasileios and Ghorbani, Nima and Bolkart, Timo and Osman, Ahmed A. A. and Tzionas, Dimitrios and Black, Michael J.},
booktitle = {Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR)},
year = {2019}
}
@article{MANO:SIGGRAPHASIA:2017,
title = {Embodied Hands: Modeling and Capturing Hands and Bodies Together},
author = {Romero, Javier and Tzionas, Dimitrios and Black, Michael J.},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
volume = {36},
number = {6},
series = {245:1--245:17},
month = nov,
year = {2017},
month_numeric = {11}
}
@article{SMPL:2015,
author = {Loper, Matthew and Mahmood, Naureen and Romero, Javier and Pons-Moll, Gerard and Black, Michael J.},
title = {{SMPL}: A Skinned Multi-Person Linear Model},
journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
month = oct,
number = {6},
pages = {248:1--248:16},
publisher = {ACM},
volume = {34},
year = {2015}
}
Ce référentiel a été initialement développé pour SMPL-X / SMPLIFY-X (CVPR 2019), vous pourriez être intéressé à jeter un œil: https://smpl-x.is.tue.mpg.de.
Un merci spécial à Soubhik Sanyal pour avoir partagé le code TensorFlow utilisé pour les repères faciaux.
Le code de ce référentiel a été implémenté par Vassilis Choutas.
Pour les questions, veuillez contacter [email protected].
Pour les licences commerciales (et toutes les questions connexes pour les applications commerciales), veuillez contacter [email protected].
