Realtime_Multi Person_Pose_Estimation

实时多人姿势估计

作者：曹哲、托马斯·西蒙、魏世恩、亚瑟·谢赫。

介绍

赢得 2016 MSCOCO Keypoints Challenge、2016 ECCV 最佳演示奖和 2017 CVPR Oral paper 的代码仓库。

在 YouTube 或我们的网站上观看我们的视频结果。

我们提出了一种自下而上的实时多人姿势估计方法，无需使用任何人员检测器。有关更多详细信息，请参阅我们的 CVPR'17 论文、CVPR 2017 上的口头演示视频记录或 ILSVRC 和 COCO 研讨会 2016 上的演示幻灯片。

该项目根据许可条款获得许可。

其他实现

感谢大家为重新实施所做的努力！如果您有新的实现并想与其他人分享，请随时提出拉取请求或给我发电子邮件！

• 我们的新 C++ 库 OpenPose（仅测试）
• 张量流 [版本 1] | [版本2] | [版本3] | [版本4] | [版本5] | [版本 6] | [版本7-TF2.1]
• Pytorch [版本 1] | [版本2] | [版本3]
• Caffe2 [版本 1]
• 链接器 [版本 1]
• MXnet [版本 1]
• MatConvnet [版本 1]
• CNTK [版本 1]

内容

1. 测试
2. 训练
3. 引文

测试

C++（实时版本，用于演示目的）

• 请使用OpenPose，现在它可以在CPU/GPU和windows/Ubuntu上运行。
• 三种输入选项：图像、视频、网络摄像头

Matlab（较慢，用于 COCO 评估）

• 兼容一般Caffe。编译matcaffe。
• 运行cd testing; get_model.sh从我们的 Web 服务器检索最新的 MSCOCO 模型。
• 更改config.m中的 caffepath 并运行demo.m以获取示例用法。

Python

• cd testing/python
• ipython notebook
• 打开demo.ipynb并执行代码

训练

网络架构

训练步骤

• 运行cd training; bash getData.sh获取dataset/COCO/images/中的 COCO 图像、 dataset/COCO/annotations/中的关键点注释以及dataset/COCO/coco/中的 COCO 官方工具箱。
• 在 matlab 中运行getANNO.m将dataset/COCO/mat/中的注释格式从 json 转换为 mat 。
• 在matlab中运行genCOCOMask.m ，得到未标记人的掩模图像。您可以在 matlab 中使用“parfor”来加速代码。
• 运行genJSON('COCO')在dataset/COCO/json/文件夹中生成 json 文件。 json 文件包含训练所需的原始信息。
• 运行python genLMDB.py生成 LMDB。 （您还可以通过以下方式下载 COCO 数据集的 LMDB（189GB 文件）： bash get_lmdb.sh ）
• 下载我们修改后的caffe：caffe_train。编译pycaffe.它将很快与 caffe_rtpose 合并（用于测试）。
• 运行python setLayers.py --exp 1生成用于训练的 prototxt 和 shell 文件。
• 下载VGG-19模型，我们用它来初始化前10层进行训练。
• 运行bash train_pose.sh 0,1 （由 setLayers.py 生成）以开始使用两个 GPU 进行训练。

引文

如果该论文对您的研究有帮助，请在您的出版物中引用该论文：

 @inproceedings{cao2017realtime,
  author = {Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields},
  year = {2017}
  }
  
@inproceedings{wei2016cpm,
  author = {Shih-En Wei and Varun Ramakrishna and Takeo Kanade and Yaser Sheikh},
  booktitle = {CVPR},
  title = {Convolutional pose machines},
  year = {2016}
  }