Realtime_Multi Person_Pose_Estimation

Estimation de pose multi-personnes en temps réel

Par Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh.

Introduction

Dépôt de code pour avoir remporté le MSCOCO Keypoints Challenge 2016, le ECCV Best Demo Award 2016 et l'article oral CVPR 2017.

Regardez notre résultat vidéo sur YouTube ou sur notre site Web.

Nous présentons une approche ascendante pour l’estimation de poses multi-personnes en temps réel, sans utiliser de détecteur de personne. Pour plus de détails, reportez-vous à notre article CVPR'17, à notre enregistrement vidéo de présentation orale au CVPR 2017 ou à nos diapositives de présentation à l'atelier ILSVRC et COCO 2016.

Ce projet est sous licence selon les termes de la licence.

Autres implémentations

Merci à tous pour les efforts de réimplémentation ! Si vous avez une nouvelle implémentation et que vous souhaitez la partager avec d'autres, n'hésitez pas à faire une pull request ou à m'envoyer un e-mail !

• Notre nouvelle bibliothèque C++ OpenPose (tests uniquement)
• Tensorflow [version 1] | [version 2] | [version 3] | [version 4] | [version 5] | [version 6] | [version 7 - TF2.1]
• Pytorch [version 1] | [version 2] | [version 3]
• Café2 [version 1]
• Chaîneur [version 1]
• MXnet [version 1]
• MatConvnet [version 1]
• CNTK [version 1]

Contenu

1. Essai
2. Entraînement
3. Citation

Essai

C++ (version temps réel, à des fins de démonstration)

• Veuillez utiliser OpenPose, il peut désormais fonctionner sous CPU/GPU et Windows/Ubuntu.
• Trois options de saisie : images, vidéo, webcam

Matlab (plus lent, pour l'évaluation COCO)

• Compatible avec le Caffe général. Compilez matcaffe.
• Exécutez cd testing; get_model.sh pour récupérer notre dernier modèle MSCOCO depuis notre serveur Web.
• Modifiez le caffepath dans le config.m et exécutez demo.m pour un exemple d'utilisation.

Python

• cd testing/python
• ipython notebook
• Ouvrez demo.ipynb et exécutez le code

Entraînement

Architecture réseau

Étapes de formation

• Exécutez cd training; bash getData.sh pour obtenir les images COCO dans dataset/COCO/images/ , les annotations de points clés dans dataset/COCO/annotations/ et la boîte à outils officielle COCO dans dataset/COCO/coco/ .
• Exécutez getANNO.m dans matlab pour convertir le format d'annotation de json en mat dans dataset/COCO/mat/ .
• Exécutez genCOCOMask.m dans Matlab pour obtenir les images de masque pour une personne non étiquetée. Vous pouvez utiliser 'parfor' dans Matlab pour accélérer le code.
• Exécutez genJSON('COCO') pour générer un fichier json dans le dossier dataset/COCO/json/ . Les fichiers json contiennent les informations brutes nécessaires à la formation.
• Exécutez python genLMDB.py pour générer votre LMDB. (Vous pouvez également télécharger notre LMDB pour l'ensemble de données COCO (fichier de 189 Go) par : bash get_lmdb.sh )
• Téléchargez notre caffe modifié : caffe_train. Compilez pycaffe. Il sera bientôt fusionné avec caffe_rtpose (pour les tests).
• Exécutez python setLayers.py --exp 1 pour générer le prototxt et le fichier shell pour la formation.
• Téléchargez le modèle VGG-19, nous l'utilisons pour initialiser les 10 premières couches pour la formation.
• Exécutez bash train_pose.sh 0,1 (généré par setLayers.py) pour démarrer la formation avec deux GPU.

Citation

Veuillez citer l'article dans vos publications s'il aide votre recherche :

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }