Realtime_Multi Person_Pose_Estimation

即時多人姿勢估計

作者：曹哲、湯瑪斯‧西蒙、魏世恩、亞瑟‧謝赫。

介紹

贏得 2016 MSCOCO Keypoints Challenge、2016 ECCV 最佳演示獎和 2017 CVPR Oral paper 的程式碼倉庫。

在 YouTube 或我們的網站上觀看我們的影片結果。

我們提出了一種自下而上的即時多人姿勢估計方法，無需使用任何人員檢測器。有關更多詳細信息，請參閱我們的 CVPR'17 論文、CVPR 2017 上的口頭演示視頻記錄或 ILSVRC 和 COCO 研討會 2016 上的演示幻燈片。

該項目根據許可條款獲得許可。

其他實現

感謝大家為重新實施所做的努力！如果您有新的實現並想與其他人分享，請隨時提出拉取請求或給我發電子郵件！

• 我們的新 C++ 庫 OpenPose（僅測試）
• 張量流 [版本 1] | [版本2] | [版本3] | [版本4] | [版本5] | [版本 6] | [版本7-TF2.1]
• Pytorch [版本 1] | [版本2] | [版本3]
• Caffe2 [版本 1]
• 連結器 [版本 1]
• MXnet [版本 1]
• MatConvnet [版本 1]
• CNTK [版本 1]

內容

1. 測試
2. 訓練
3. 引文

測試

C++（即時版本，用於演示目的）

• 請使用OpenPose，現在它可以在CPU/GPU和windows/Ubuntu上運行。
• 三種輸入選項：影像、影片、網路攝影機

Matlab（較慢，用於 COCO 評估）

• 相容於一般Caffe。編譯matcaffe。
• 運行cd testing; get_model.sh從我們的 Web 伺服器檢索最新的 MSCOCO 模型。
• 更改config.m中的 caffepath 並執行demo.m以取得範例用法。

Python

• cd testing/python
• ipython notebook
• 開啟demo.ipynb並執行程式碼

訓練

網路架構

訓練步驟

• 運行cd training; bash getData.sh取得dataset/COCO/images/中的 COCO 影像、 dataset/COCO/annotations/中的關鍵點註解以及dataset/COCO/coco/中的 COCO 官方工具箱。
• 在 matlab 中執行getANNO.m將dataset/COCO/mat/中的註解格式從 json 轉換為 mat 。
• 在matlab中運行genCOCOMask.m ，得到未標記人的掩模影像。您可以在 matlab 中使用“parfor”來加速程式碼。
• 運行genJSON('COCO')在dataset/COCO/json/資料夾中產生 json 檔。 json 檔案包含訓練所需的原始資訊。
• 運行python genLMDB.py生成 LMDB。 （您也可以透過以下方式下載 COCO 資料集的 LMDB（189GB 檔案）： bash get_lmdb.sh ）
• 下載我們修改後的caffe：caffe_train。編譯pycaffe.它將很快與 caffe_rtpose 合併（用於測試）。
• 運行python setLayers.py --exp 1產生用於訓練的 prototxt 和 shell 檔案。
• 下載VGG-19模型，我們用它來初始化前10層進行訓練。
• 執行bash train_pose.sh 0,1 （由 setLayers.py 產生）以開始使用兩個 GPU 進行訓練。

引文

如果論文對您的研究有幫助，請在您的出版物中引用論文：

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }