Realtime_Multi Person_Pose_Estimation

Echtzeit-Posenschätzung für mehrere Personen

Von Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh.

Einführung

Code-Repo für den Gewinn der MSCOCO Keypoints Challenge 2016, des ECCV Best Demo Award 2016 und des CVPR Oral Paper 2017.

Sehen Sie sich unser Videoergebnis auf YouTube oder unserer Website an.

Wir präsentieren einen Bottom-up-Ansatz für die Posenschätzung mehrerer Personen in Echtzeit, ohne einen Personendetektor zu verwenden. Weitere Einzelheiten finden Sie in unserem CVPR'17-Papier, unserer mündlichen Präsentationsvideoaufzeichnung beim CVPR 2017 oder unseren Präsentationsfolien beim ILSVRC- und COCO-Workshop 2016.

Dieses Projekt ist gemäß den Lizenzbedingungen lizenziert.

Andere Implementierungen

Vielen Dank an alle für die Bemühungen um die Neuimplementierung! Wenn Sie eine neue Implementierung haben und diese mit anderen teilen möchten, können Sie gerne eine Pull-Anfrage stellen oder mir eine E-Mail senden!

• Unsere neue C++-Bibliothek OpenPose (nur zum Testen)
• Tensorflow [Version 1] | [Version 2] | [Version 3] | [Version 4] | [Version 5] | [Version 6] | [Version 7 – TF2.1]
• Pytorch [Version 1] | [Version 2] | [Version 3]
• Caffe2 [Version 1]
• Chainer [Version 1]
• MXnet [Version 1]
• MatConvnet [Version 1]
• CNTK [Version 1]

Inhalt

1. Testen
2. Ausbildung
3. Zitat

Testen

C++ (Echtzeitversion, für Demozwecke)

• Bitte verwenden Sie OpenPose, jetzt kann es auf CPU/GPU und Windows/Ubuntu ausgeführt werden.
• Drei Eingabemöglichkeiten: Bilder, Video, Webcam

Matlab (langsamer, für COCO-Auswertung)

• Kompatibel mit allgemeinem Caffe. Kompilieren Sie Matcaffe.
• cd testing; get_model.sh um unser neuestes MSCOCO-Modell von unserem Webserver abzurufen.
• Ändern Sie den caffepath in config.m und führen Sie demo.m aus, um ein Beispiel für die Verwendung zu erhalten.

Python

• cd testing/python
• ipython notebook
• Öffnen Sie demo.ipynb und führen Sie den Code aus

Ausbildung

Netzwerkarchitektur

Trainingsschritte

• cd training; bash getData.sh um die COCO-Bilder in dataset/COCO/images/ , die Schlüsselpunktanmerkungen in dataset/COCO/annotations/ und die offizielle COCO-Toolbox in dataset/COCO/coco/ zu erhalten.
• Führen Sie getANNO.m in Matlab aus, um das Annotationsformat von JSON in Mat im dataset/COCO/mat/ zu konvertieren.
• Führen Sie genCOCOMask.m in Matlab aus, um die Maskenbilder für unbeschriftete Personen zu erhalten. Sie können „parfor“ in Matlab verwenden, um den Code zu beschleunigen.
• Führen Sie genJSON('COCO') aus, um eine JSON-Datei im Ordner dataset/COCO/json/ zu generieren. Die JSON-Dateien enthalten Rohinformationen, die für das Training benötigt werden.
• Führen Sie python genLMDB.py aus, um Ihre LMDB zu generieren. (Sie können auch unsere LMDB für den COCO-Datensatz (189-GB-Datei) herunterladen von: bash get_lmdb.sh )
• Laden Sie unser modifiziertes Café herunter: caffe_train. Kompilieren Sie Pycaffe. Es wird bald mit caffe_rtpose (zum Testen) zusammengeführt.
• Führen Sie python setLayers.py --exp 1 aus, um die Prototxt- und Shell-Datei für das Training zu generieren.
• Laden Sie das VGG-19-Modell herunter. Wir verwenden es, um die ersten 10 Schichten für das Training zu initialisieren.
• Führen Sie bash train_pose.sh 0,1 (generiert von setLayers.py) aus, um das Training mit zwei GPUs zu starten.

Zitat

Bitte zitieren Sie den Artikel in Ihren Veröffentlichungen, wenn er Ihrer Forschung hilft:

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }