Realtime_Multi Person_Pose_Estimation

リアルタイムの複数人の姿勢推定

Zhe Cao、Tomas Simon、Shih-En Wei、Yaser Sheikh 著。

導入

2016 MSCOCO Keypoints Challenge、2016 ECCV Best Demo Award、2017 CVPR Oral Paper を受賞したコード リポジトリ。

YouTube または Web サイトでビデオ結果をご覧ください。

人物検出器を使用せずに、リアルタイムで複数人の姿勢を推定するためのボトムアップ アプローチを提案します。詳細については、CVPR'17 の論文、CVPR 2017 での口頭プレゼンテーションのビデオ録画、または ILSVRC および COCO ワークショップ 2016 でのプレゼンテーション スライドを参照してください。

このプロジェクトは、ライセンス条項に基づいてライセンスされています。

その他の実装

再実装に向けてご尽力いただきました皆様、誠にありがとうございました！新しい実装があり、他の人と共有したい場合は、お気軽にプル リクエストを作成するか、私にメールしてください。

• 新しい C++ ライブラリ OpenPose (テストのみ)
• Tensorflow [バージョン 1] | [バージョン2] | [バージョン3] | [バージョン4] | [バージョン5] | [バージョン6] | [バージョン 7 - TF2.1]
• Pytorch [バージョン 1] | [バージョン2] | [バージョン3]
• Caffe2 [バージョン 1]
• チェイナー [バージョン 1]
• MXnet [バージョン 1]
• MatConvnet [バージョン 1]
• CNTK [バージョン 1]

コンテンツ

1. テスト
2. トレーニング
3. 引用

テスト

C++ (リアルタイムバージョン、デモ用)

• OpenPose を使用してください。CPU/GPU および Windows /Ubuntu で実行できるようになりました。
• 3 つの入力オプション: 画像、ビデオ、Web カメラ

Matlab (COCO 評価用に低速)

• 一般的なCaffeと互換性があります。 matcaffe をコンパイルします。
• cd testing; get_model.sh使用して、Web サーバーから最新の MSCOCO モデルを取得します。
• 使用例として、 config.mの caffepath を変更し、 demo.mを実行します。

パイソン

• cd testing/python
• ipython notebook
• demo.ipynbを開いてコードを実行します。

トレーニング

ネットワークアーキテクチャ

トレーニングのステップ

• cd training; bash getData.sh実行して、 dataset/COCO/images/の COCO 画像、 dataset/COCO/annotations/のキーポイント アノテーション、 dataset/COCO/coco/の COCO 公式ツールボックスを取得します。
• matlab でgetANNO.m実行して、注釈形式を json からdataset/COCO/mat/の mat に変換します。
• Matlab でgenCOCOMask.mを実行して、ラベルのない人物のマスク イメージを取得します。 Matlab で 'parfor' を使用すると、コードを高速化できます。
• genJSON('COCO')を実行して、 dataset/COCO/json/フォルダーに json ファイルを生成します。 json ファイルには、トレーニングに必要な生の情報が含まれています。
• python genLMDB.pyを実行して LMDB を生成します。 (COCO データセット用の LMDB (189GB ファイル) をbash get_lmdb.shでダウンロードすることもできます)
• 変更したカフェをダウンロードします: caffe_train。パイカフェをコンパイルします。まもなく caffe_rtpose (テスト用) とマージされる予定です。
• python setLayers.py --exp 1を実行して、トレーニング用の prototxt とシェル ファイルを生成します。
• VGG-19 モデルをダウンロードします。これを使用して、トレーニング用に最初の 10 レイヤーを初期化します。
• bash train_pose.sh 0,1 (setLayers.py によって生成) を実行して、2 つの GPU でトレーニングを開始します。

引用

あなたの研究に役立つ場合は、その論文を出版物に引用してください。

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }