3d在除錯區輸出座標 3D人體姿態估計筆記

2021-10-14 14:16:37 字數 1669 閱讀 3161

英文版: 3d-human-pose-estimation-notes

人體姿態估計:估計人的關節點座標(回歸問題)

多人姿態估計

人體姿態跟蹤

先獲取2d資訊,然後再「提公升」到3d姿態

直接用預訓練好的2d姿態網路,將得到的2d座標輸入到3d姿態估計網路中(得益於2d姿態估計較為成熟)

缺點

為什麼要先進行2d估計再進行3d估計?

目前,3d姿態估計的主要瓶頸是缺少大型的室外資料集,並缺少一些特殊姿態的資料集(如摔倒, 打滾等)。這主要由於3d姿態資料集是依靠適合室內環境的動作捕捉(mocap)系統構建的,而mocap系統需要帶有多個感測器和緊身衣褲的複雜裝置,在室外環境使用是不切實際的。因此資料集大多是在實驗室環境下建立的,模型的泛化能力也比較差。

3d姿態估計最大、最廣泛使用的資料集,室內的marker-based mocap

15個動作: directions, discussion, eating, greeting, phoning, posing, purchases, sitting, sitting down, smoking, taking photo, waiting, walking, walking dog, walking together

17個關鍵點

評價指標:protocol 1,protocol 2

s9 greeting, waiting 1, sittingdown 1,標註不准。如下,2d-gt視覺化在上有偏移,對多視角的protocol 1會有影響。

評價指標:protocol 2

測試:

procrustes analysis mpjpe (p-mpjpe): protocol 2,基於procrustes分析的mpjpe

percentage of correct key-points (pck),正確關鍵點的百分比

percentage of correct parts (pcp),正確部件的百分比

半監督

自監督全監督

輸出: mesh

優點: 只需要估計少量的引數便可得到包含6890個頂點的高質量的人體3d mesh

3d pose

3D基礎 3D座標變換在OpenGL 中的實踐

在計算機圖形學中,變換矩陣是非常基礎也是非常重要的知識,在許多資料中,只是羅列出一堆矩陣公式,圖表等等,這很難給人感性的認識,特別是初學者,筆者結合 opengl 這樣乙個非常流行的圖形庫,以實踐的方式闡述在 3d變換矩陣中最簡單的三種 平移 縮放以及旋轉。這裡有一些前提知識,就是需要了解線性代數一...

3D數學 座標系

什麼是多座標系?用處是什麼?顧名思義,多座標係指在同一空間的不同座標系。如下圖為了繪製不同的幾何體,有時需要更換乙個相對容易繪製的座標系,這就形成了多座標系。該如何表示各種座標系關係?在遊戲模型中,為了表達乙個模型各個部位,需要建立多座標系。而這些不同的座標系又有巢狀關係 如耳朵座標系巢狀在頭部座標...

不要為3d而3d

和以前的幾個朋友聊天,也有做game的。發現大家對3d技術都非常熱衷,但是這種熱衷顯得刻意的 為3d而3d,就有點捨本逐末。1 遊戲最重要的是策劃,需要具體的滿足人心底的某種需求,2 3d需要 好顯示卡的支援,這樣就將一部分使用者排斥在外面了。3 現在3d engine已經 很成熟了,通過這些上面的...