官网：https://openmmlab.com
Github：https://github.com/open-mmlab
公众号：OpenMMLab
参考视频：人体关键点检测与MMPose

AI实战营二期 day1笔记

1. 人体姿态估计的介绍与应用

1.1 2D人体姿态估计

2D人体姿态估计:在图像.上定位人体关键点(通常为人体主要关节)的坐标

• 热力图可以基于原始关键点坐标生成，作为训练网络的监督信息
• 网络预测的热力图也可以通过求极大值等方法得到关键点的坐标
• 模型预测热力图比直接回归坐标相对容易,模型精度相对更高，因此主流算法更多基于热力图,但预测热力图的计算消耗大于直接回归

1.2 多人姿态估计

自顶向下方法

自底向上方法

单节段方法

1.3 3D姿态估计

3D人体姿态估计要求从2D图像(或视频)恢复3D信息

思路一：直接预测

思路二：利用视频信息

思路三：利用多视角图像

2. 评估指标

2.1 PCP：以肢体的检出率作为评价指标

• 考虑每个人的左右大臂、小臂、大腿、小腿共计 4x2=8 个肢体
• 如果两个预测关节位置和真实肢体关节位置之间的距离小于等于肢体长度的一半，则认为肢体已检测到且是正确的部分
• 对于某个特定部位，完整数据集上的指标为 PCP = 整个数据集中正确检出的此部位数/整个数据集中此部位总数

2.2 PDJ： 以关节点的位置精度作为评价指标

• 通常考虑头、肩、时、腕、臀、膝、踝几个关键点，如果预测关节和真实关节之间的距离在躯干直径的 某个比例范围内，则认为检测到检测到了关节。并且可以通过改变该比例，可以获得不同程度的定位精 度的检测率。

2.3 PCK：以关键点的检测精度作为评价指标

• 如果预测关节和真实关节之间的距离在某个阈值（可变）内，则认为检测到的关键点是正确的。在2D 与3D (PCK3D) 任务中均可使用。
• PCK阈值通常是根据对象的比例设置的，对象的比例封闭在边界框内。例如，阈值可以是: PCKh@0.5 阈值=头部骨骼链接的 50 50 % ；PCK@0.250阈值=0.2*躯干直径；有时也以 150 m m 150 \mathrm{~mm}150 mm 作为阈值