ACM MM'18 最佳学生论文
新加坡国立大学 (NUS) 学习与视觉 (LV) 小组的多人解析项目旨在推动人群场景中人类细粒度视觉理解的前沿。
多人解析与传统的明确定义的对象识别任务有显着不同，例如对象检测，它仅提供对象位置（边界框）的粗略预测；实例分割，仅预测实例级掩模，没有任何关于身体部位和时尚类别的详细信息；人类解析，它在类别级像素级预测上进行操作，而不区分不同的身份。
在现实场景中，多人互动的场景更加真实和常见。因此，非常需要一个任务、相应的数据集和基线方法来考虑每个人的细粒度语义信息以及整个群体的关系和交互。
统计数据：MHP v1.0 数据集包含 4,980 张图像，每张图像至少有两个人（平均为 3 个）。我们随机选择 980 张图像及其相应的注释作为测试集。其余的形成 3,000 张图像的训练集和 1,000 张图像的验证集。对于每个实例，除了“背景”类别之外，定义和注释了18个语义类别，即“帽子”、“头发”、“太阳镜”、“上衣”、“裙子”、“裤子”、“连衣裙”、“腰带”、“左鞋”、“右鞋”、“脸”、“左腿”、“右腿”、“左臂”、“右臂”、“包”、“围巾”和“躯干皮肤”。每当当前图像中出现相应类别时，每个实例都有一组完整的注释。
微信新闻。
下载：MHP v1.0数据集可在googledrive和baidudrive下载（密码：cmtp）。
请参阅我们的 MHP v1.0 论文（提交给 IJCV）了解更多详细信息。
统计数据：MHP v2.0 数据集包含 25,403 张图像，每张图像至少有两个人（平均为 3 个）。我们随机选择 5,000 张图像及其相应的注释作为测试集。其余的形成 15,403 张图像的训练集和 5,000 张图像的验证集。对于每个实例，定义和注释了除“背景”类别之外的 58 个语义类别，即“帽子”、“头盔”、“脸”、“头发”、“左臂”、“右臂”、 “左手”、“右手”、“护具”、“比基尼/胸罩”、“夹克/风衣/连帽衫”、“T恤”、“polo衫”、“毛衣”、 “背心”、“躯干皮肤”、“裤子”、“短裤/游泳短裤”、“裙子”、“长筒袜”、“袜子”、“左靴”、“右靴”、“左鞋” ", "右鞋", "左高跟", "右高跟", "左凉鞋", "右凉鞋", "左腿", "右腿", “左脚”、“右脚”、“外套”、“连衣裙”、“长袍”、“连体衣”、“其他全身衣服”、“头饰”、“背包”、“球”、 “蝙蝠”、“腰带”、“瓶子”、“手提包”、“盒子”、“太阳镜”、“眼镜”、“手套”、“围巾”、“雨伞”、 “钱包/钱包”、“手表”、“腕带”、“领带”、“其他配饰”、“其他上半身衣服”和“其他下半身衣服”。每当当前图像中出现相应类别时，每个实例都有一组完整的注释。此外，2D人体姿势具有16个密集关键点（“右肩”，“右肘”，“右手腕”，“左肩”，“左肘”，“左手腕”，“右-臀部”、“右膝盖”、“右脚踝”、“左臀部”、“左膝盖”、“左脚踝”、“头部”、“颈部”、每个关键点都有一个标志，指示其是否可见（0/遮挡-1/图像外-2），并且还提供头部和实例边界框以方便多人姿势估计研究。
下载：MHP v2.0数据集可在googledrive和baidudrive下载（密码：uxrb）。
请参阅我们的 MHP v2.0 论文（ACM MM'18 最佳学生论文）了解更多详细信息。
多人解析：我们使用两个以人为中心的指标进行多人解析评估，这最初由我们的 MHP v1.0 论文报告。这两个指标是基于部分的平均精度 (AP p ) (%) 和正确解析语义部分的百分比 (PCP) (%)。有关评估代码，请参阅我们的“Multi-Human-Parsing_MHP”存储库下的“Evaluation”文件夹。
多人姿势估计：遵循 MPII，我们使用 mAP (%) 评估措施。
我们组织了 CVPR 2018 人群场景中人类视觉理解研讨会（VUHCS 2018）。该研讨会由新加坡国立大学、卡内基梅隆大学和中山大学合作举办。在VUHCS 2017的基础上，我们进一步加强了本次Workshop，增加了5个竞赛赛道：单人人体解析、多人人体解析、单人姿态估计、多人姿态估计和精细化粒度多人解析。
结果提交和排行榜。
微信新闻。
请查阅并考虑引用以下论文：
@article{zhao2018understanding,
title={Understanding Humans in Crowded Scenes: Deep Nested Adversarial Learning and A New Benchmark for Multi-Human Parsing},
author={Zhao, Jian and Li, Jianshu and Cheng, Yu and Zhou, Li and Sim, Terence and Yan, Shuicheng and Feng, Jiashi},
journal={arXiv preprint arXiv:1804.03287},
year={2018}
}
@article{li2017towards,
title={Multi-Human Parsing in the Wild},
author={Li, Jianshu and Zhao, Jian and Wei, Yunchao and Lang, Congyan and Li, Yidong and Sim, Terence and Yan, Shuicheng and Feng, Jiashi},
journal={arXiv preprint arXiv:1705.07206},
year={2017}
}
