人體姿態估計 CPN(三)

2021-10-03 10:16:19 字數 969 閱讀 9390

**個人解讀

模型結構

演算法效果

**出處:曠世科技(face++)、2018cvpr

**tensorflow

pytorch

這篇文章開發的多人姿態估計模型cpn級聯金字塔網路,是2023年coco人體關鍵點挑戰賽的冠軍,使用top-down策略,那麼同樣適用於單人姿態估計,在coco測試集上取得map=73.0。

本算發聚焦點在於處理多人姿態估計所面臨的挑戰:關鍵點遮擋,關鍵點不可見,複雜背景等——就是優化對於難以檢測的點的**,即著重於處理 「hard」 關鍵點。思路就是detector先定位bbox,然後使用cpn檢測關鍵點。

模型分2個module:

1)cpn本體由兩個module組成:globalnet和refinenet

2)globalnet:是乙個功能金字塔網路,對關鍵點進行粗提取,即能夠成功地定位「簡單」的非隱藏的關鍵點,並且無法準確識別被遮擋或看不見的關鍵點。具體為:假設使用resnet50作為backbone(全文都是以resnet50作為backbone),左邊的四個實心方塊就是resn50的res2- res5(包含[3,4,6,3]個residual block),右邊的虛線方塊就是特徵融合的過程,不斷通過上取樣和elem-sum的過程做特徵融合。共有4個層次,這樣就會得到4個不同的結果,都需要計算loss,不同的層次對應groundtruth的heatmap使用的高斯核大小或者sigma大小不一樣,文中根據實驗來選擇,通常使用7-15之間的奇數。

同樣在coco資料集上進行驗證,效果如下:

人體姿態估計總述

人體姿態估計簡述 一 總述 人體姿態估計分為單人姿態估計和多人姿態估計,其中單人姿態估計的識別率達到了90 加,已經沒有很大提公升空間,近些年來比較熱門的是在coco資料集上做多人姿態估計識別率的提公升。多人姿態估計分為bottom up和top down。其中bottom up運算速度快,幾乎能做...

人體姿態估計演算法之open pose

一,openpose是一種自底向上的演算法 openpose人體姿態識別專案是美國卡耐基梅隆大學 cmu 基於卷積神經網路和監督學習並以caffe為框架開發的開源庫。可以實現人體動作 面部表情 手指運動等姿態估計。適用於單人和多人,具有極好的魯棒性。是世界上首個基於深度學習的實時多人二維姿態估計應用...

標記姿態估計

在三維空間中,可通過標記角點的精確位置來估計攝像機與標記之間的變換。此操作稱為二維到三維的姿態估計。該估計過程會在物體與攝像機之間找到乙個歐氏空間的變換 該變換僅由旋轉和座標平移構成 先來觀察右圖 圖中的c表示攝像機中心,點p1 p4是現實座標系中的三維點,而p1 p4是將點p1 p4投影到攝像機的...