關於專利US 8437506

2021-07-05 12:04:03 字數 2165 閱讀 4140

在微軟的這篇專利中,整體上思路提出多個骨骼點位置假設,然後依據約束對各個位置假設打分,輸出分高的骨骼點。其認為假設的個數越多,最終骨骼點準確率也越高,但是隨之而來的是計算量的提公升。

輸入:隨機森林輸出的概率分布,歷史骨骼點位置

輸出:骨骼點位置

專利中提出的骨骼點位置假設模組有:

centroid-based joint fusion skeleton generator:基於重心的關節融合生成骨骼,首先由隨機森林輸出的每個畫素的概率分布提取每個body part的重心,然後使用viterbi演算法以人體軀幹為樹結構的根節點,以人體四肢為葉節點,尋找最優人體骨架結構。

prior state:由先驗狀態估計當前狀態,當前幀的狀態 可以從先驗狀態 計算運動向量估計得出當前狀態。使用先驗狀態對當前狀態進行插值。

magnetism:認為連續兩幀骨骼點的運動距離是小的。

head ********:人體頭部和兩肩膀構成的三角形在人體骨架中是乙個比較穩定的三角形,即使其中乙個不可見,也可以根據另外兩個比較準確的推斷出位置。當頭肩三角被識別出以後,可以定出人體的上部區域、下部區域、左部區域、右部區域,進一步生成關節點位置。

打分器有4種,depth score、explained space、static joint configuration score、motion score。前兩種是判斷骨骼與深度圖的符合程度:

depth score:判斷骨骼點是不是在深度圖中存在,根據骨骼點的z值與深度圖中對應點的z值的接近程度進行打分;

explained space:用於判斷人體骨架是不是能表達所有的前景深度資料。主要判斷是不是存在著沒有被骨骼所表達的前景。如果存在,則判斷前景與骨骼的遠近,越近說明前景是body part的可能性越大,懲防越大,打分越低。

後兩種從人體骨骼模型的約束方面進行打分:

static joint configuration score:指從單張骨骼圖進行打分,可以利用人體每個骨骼段的長度大小,身體各個骨骼短長度比例,以及人體關節彎曲是否超越了人的極限等方面進行判斷;

motion score:從運動學上引入約束,從多幀判斷骨骼運動是否符合人體運動規律,是否存在骨骼位置的突變。

這篇專利中首先提出多種骨骼假設,然後使用4個打分器對骨骼點位置進行打分,我認為保持骨骼點穩定最關鍵的部分在於打分器,為了快速有效的提公升骨骼提取的效果,可以從直接從打分器入手,引入多種約束,反向求取骨骼點。

關於雙線性指數平滑,

表示的是當前運動向量的估計, 為當前時刻的觀測 與當前時刻的** 的 疊加,在smooth.cpp中,計算完 後,又計算了一次 **,

然後將該**值xnp規整到了當前觀測 的maxdeviationradius 範圍內作為當前時刻的最終輸出。這裡我有些不太理解為什麼又做了一次**xnp,猜測是不是為了降低響應延遲?

這種指數濾波的方法利用先驗資訊,對當前狀態進行推斷求解,smoothing、 correction 、prediction 、 jitterradius 這四個引數本質上是從motion score打分器上引入的運動學約束,maxdeviationradius則是從depth score打分器上上引入的約束。

我的思路是首先對當前骨骼點 進行打分,判斷其可信程度p,令輸出 ,在函式 中引入運動學約束(motion score)和人體模型約束(static joint configuration score),對人體不同的骨骼點以及不同的可信度p,所引入的約束條件應有所不同。對於運動學約束(motion score)上面的雙線性指數平滑效果較好,對於人體模型約束(static joint configuration score)我目前的想法是1、人體骨骼段長度應保持一定的比例,2、運動中骨骼段長度不應發生大的變化。

關於專利,記錄下

專利,還是很重要的,平時寫 其實每個人都在寫 怎麼體現你更好,當然bug少,疑難問題都能解決,說明了能力 專利也是體現能力的一種方面吧 2016年終於開始了職場來的第乙份專利的撰寫,修改,僅以此做個記錄,不知道會不會成功,但是要加以百分之五百的努力 201605.23記 prc會議後現在開始不斷修改...

關於專利撰寫的體會

最近在著手專利的撰寫,前輩們都說專利很好寫。由於剛開始沒經驗,一度跑偏,專利和畢業設計傻傻分不清,現在總算稍微入門,在這裡記錄下自己粗淺的見解 1.專利一定要明確乙個點,或者說乙個明確的方向 2.專利的範圍不能太大,太大的話很容易把握不住創新點,範圍小一點的話有助於創新 3.一定要把自己的專利的想法...

關於申基金和寫專利

最近剛把入職的事基本辦完。包括很多報告,很多入職培訓又乙個月。然後一看時間已經馬上12月。這裡的經驗就是從面試到入職基本要三個半月,這裡僅僅指某北方金融中心城市的部分高校入職的時間。去年去北辰做報告的乙個白俄羅斯回來的老師講了一次 申請,跟今年其他老師說的似乎大相徑庭 說投大同行比小同行機會多 期間...