人臉關鍵點定位3000fps的LBF方法

2021-08-02 07:38:39 字數 1000 閱讀 2866

整體來看,其實 ,esr是基礎版本的形狀回歸,ert將回歸樹修改為gbdt,由原始的直接回歸形狀,改進為回歸形狀殘差,而lbf,是加速特徵提取,由原來的畫素差分特徵池,改為隨機選擇點。

**:基於lbf方法的人臉對齊,出自face alignment at3000 fps via regressing local binary features,由於該方法提取的是區域性二值特徵(lbf),所以特徵提取這個過程速度非常快,導致整個的演算法都速快相當快,**作者的lbf fast達到了3000fps的速度,網上熱心網友分享的程式也達到了近300fps的速度,絕對是人臉對齊方面速度最快的一種演算法。因此,好多網友也將該方法稱為,3000fps。

該方法主要體現在2個方面,

(1)lbf特徵的提取

作者通過在特徵點附近隨機選擇點做殘差來學習lbf特徵,每乙個特徵點都會學到由好多隨機樹組成的隨機森林,因此,乙個特徵點就得用乙個隨機森林生成的0,1特徵向量來表示,將所有的特徵點的隨機森林都連線到一起,生成乙個全域性特徵,後續過程就可以使用該全域性特徵做全域性線性回歸了。

(2)基於cascade的級聯的隨機森林做全域性線性回歸

如上公式所示,i為輸入影象,st-1為第t-1stage的形狀,fait為t stage的特徵匹配函式,wt為線性回歸矩陣。

訓練過程,就是學習fait和wt的乙個過程,測試過程就是用訓練好的fait和wt對提取的lbf特徵做回歸的過程。

對於每個stage,越往下,所選擇的隨機點的範圍就越小,特徵點定位精度就越好。

github上熱心網友的程式,

matab版本:

c++版本:

SIFT(4) 關鍵點定位

關鍵點精確定位 離散空間的極值點並不是真正的極值點,圖4.1顯示了二維函式離散空間得到的極值點與連續空間極值點的差別。利用已知的離散空間點插值得到的連續空間極值點的方法叫做子畫素插值 sub pixel interpolation 差值中心偏移量大於0.5時 即x或y或 意味著插值中心已經偏移到它的...

機器學習經典快速回顧(一) 人臉關鍵點定位傳統方法

人臉檢測 早已比較成熟,傳統的基於hog 線性分類器 的方案檢測效果已經相當不錯,我們也不再過多討論,本節重點討論人臉特徵點對齊,特徵點對齊主要應用在確定關鍵點的位置上,並進一步用於人臉姿態或狀態的判斷 用在輔助駕駛 疲勞檢測 ar等 1 asm asm active shape model 通過形...

Adaloss 用於關鍵點定位的自適應損失函式

編譯 ronghuaiyang 逐步的增加訓練的難度,讓模型越來越準確。這裡給大家介紹關鍵點定位的另乙個損失函式,但現在我們使用的是熱圖,我們使用2d概率圖。但這種損失有點特殊,因為它會自適應ground truth資料,並進行梯度控制 因此,某些損失的值會更集中,如中小損失。對於任何與計算機視覺相...