一、技術難點介紹
人體關鍵點姿態識別是人體姿態識別技術的重要分支。通過檢測人體行為表達過程中，每一幀人體姿態關鍵部位的位置，將人體姿態簡化為人體關鍵點，並通過這些關鍵點對人體姿態表達的語義進行分類識別。
基於關鍵點的人體姿態識別可分為兩個方面，即靜態的人體姿態識別與動態的人體姿態識別，總的來說，人體關鍵點姿態識別技術主要面臨的幾方面技術難點如下：
二、關鍵技術介紹：
2.1 動態人體關鍵點姿態識別：
傳統機器學習演算法中，將人體骨骼關鍵點看作時間域動態軌跡序列，可通過隱馬爾科夫hmm，條件隨機場crfs，時域金字塔等模型求解。對時域骨骼關鍵點的特徵提取方法主要有關鍵點的聯合位置直方圖分布，關鍵點3d位置的旋轉與位移特徵等等。
在深度學習領域，可通過rnns、lstm、cnn等手段將時空域人體姿態關鍵點建模來完成分類識別。
下圖所示為基於3d骨骼點的人體行為姿態檢測方法分類：
joint-based representations:
基於關鍵點座標的行為姿態表達，包括空間描述子(spatial descriptors)、幾何描述子(geometrical descriptors)、關鍵幀描述子（key-poses descriptors）。
mined joints based descriptors:
考慮子空間關鍵點的相關性來提公升判別度。
(presti l l, cascia m l. 3d skeleton-based human action classification[m]. elsevier science inc. 2016.)
資料庫介紹：
ucf：骨骼點(15 joints)、16個動作；
mhad： 11個動作、660個motion sequences；
msra3d: 骨骼點（20個）、20個動作。
首先演算法的總體流程框架如下圖所示,：
隨後，對每幅影象的畫素點進行歸一化：
該演算法所用資料庫為ntu datsets：60個動作，每個動作分別相隔45度從三個角度拍攝；骨骼點（24 joints）。該演算法可利用多種cnn開源框架進行訓練，對於60個類，測試結果根據訓練情況為80%~90%。該演算法的缺點是，無法估計人體姿態的首尾幀，需要人工標註。
其他人體骨骼關鍵點的分類識別方法，絕大部分也類似於上述將關鍵點序列轉化為影象的方式，只是轉化方式略有不同，且特徵表達較為複雜，不利於演算法實時性實現。
2.2 靜態人體關鍵點識別
推薦一種基於形狀上下文(shape context)的人體姿態識別方法。形狀上下文是基於物體輪廓樣本點進行描述, 如下圖3所示。
形狀上下文運算元的基本原理是通過建立目標關於每個輪廓點的極座標，並將極座標進行區間劃分，計算輪廓點落入每個極座標區間的個數，構成矩陣分布，如下圖4所示。
其中圖4左為圖3(a)中菱形座標為參考座標系的特徵分布矩陣；圖4中為圖3(b)中三角座標為參考座標系的特徵分布矩陣；圖4右為圖3(b)中方框座標為參考座標系的特徵分布矩陣.由圖4可見，圖3(a)的菱形和圖3(b)的矩形座標系下的輪廓點特徵分布的視覺化矩陣十分相似，從而說明這種特徵表達方式對目標具有一定的尺度不變性。
最終通過計算不同目標之間的向量分布差異，從而得到目標相似匹配度。
該演算法的初衷是對二維平面的目標進行匹配識別，然後可以將該演算法中的極座標擴充套件成三維，並將人體骨骼點當作目標輪廓點進行類似的骨骼點座標分布計算。
三、骨骼點雜訊問題
主流文獻對該部分的處理不多見，個人理解對於丟失的骨骼關鍵點，可以通過鄰域座標差值的方法進行擬合 ，對於座標漂移劇烈的骨骼關鍵點，可以首先將某個關鍵點的時域軌跡單獨提取，根據幀間軌跡點的速度、位移、方向等變化規律，利用ransca或軌跡**等方法進行漂移關鍵點剔除。
備註：
人體姿態估計總述
人體姿態估計簡述 一 總述 人體姿態估計分為單人姿態估計和多人姿態估計，其中單人姿態估計的識別率達到了90 加，已經沒有很大提公升空間，近些年來比較熱門的是在coco資料集上做多人姿態估計識別率的提公升。多人姿態估計分為bottom up和top down。其中bottom up運算速度快，幾乎能做...
人體姿態估計 CPN（三）
個人解讀 模型結構 演算法效果 出處 曠世科技 face 2018cvpr tensorflow pytorch 這篇文章開發的多人姿態估計模型cpn級聯金字塔網路，是2017年coco人體關鍵點挑戰賽的冠軍，使用top down策略，那麼同樣適用於單人姿態估計，在coco測試集上取得map 73....
人體關鍵點顏色和預處理
alphapose 和centernet pose都可以用 關鍵點編號 0是鼻子 1.左額頭 2右額頭 3 左耳朵 4 右耳朵 5左肩7左肘 9 左手 6右肩8 右胳膊肘 10 右手 11左臀 13 左膝蓋 15 左腳 12 右臀 14 右膝蓋 16 右腳 self.colors hp 0,255,...