作者試圖使用3d人臉建模解決大姿態下面部特徵點定位問題。其實跟pifa2017差不多，雙回歸架構，3dmm模型，唯一不同的是級聯cnn的細節上，以及設計的特徵上。
2d的人臉形狀u可以看成是3d人臉形狀a通過投影變化m得到，如下圖所示： 3d人臉形狀模型可以表示為平均3d人臉形狀 a 0 與若干表徵身份、表情的基向量 a id 和 a exp 通過p引數組合而成
這裡引數的定義，跟pifa2017類似，都是3dmm模型。另外，級聯雙回歸架構也類似。每級cnn的設計如下：
完整的級聯架構如下：
面部特徵點定位問題（**u）可以轉變為同時**投影矩陣m和3d人臉形狀模型引數p
演算法的整體框架通過級聯6個卷積神經網路來完成這一任務：
(1) 首先以整張人臉影象作為輸入，來**投影矩陣的更新
(2) 使用更新後的投影矩陣計算當前的2d人臉形狀，基於當前的2d人臉形狀抽取塊特徵作為下一級卷積神經網路的輸入，下一級卷積神經網路用於更新3d人臉形狀
(3) 基於更新後的3d人臉形狀，計算可得當前2d人臉形狀的**
(4) 根據新的2d人臉形狀**，抽取塊特徵輸入到卷積神經網路中來更新投影矩陣，交替迭代優化求解投影矩陣m和3d人臉形狀模型引數p，直到在訓練集收斂
值得一提的是，該方法在**3d人臉形狀和投影矩陣的同時也考慮到計算每乙個特徵點是否可見。如果特徵點不可見，則不使用該特徵點上的塊特徵作為輸入，這是普通2d人臉對齊方法難以實現的
此外，作者提出兩種pose-invariant的特徵piecewise affine-warpped feature (pawf)和direct 3d projected feature (d3pf)，可以進一步提公升特徵點定位的精度。
後面的文章裡提到，lpfa在titan x gpu上，只有0.6fps，看看就行了。
人臉對齊介紹
1 五官定位 2 表情識別 3 人臉漫畫 素描生成 4 增強現實 5 換臉 6 3d建模 給定人臉區域 i，從該區域出發,根據一定的規則 f，找到特徵點位置 x。即 x f i 所以，人臉對齊演算法便是設計函式 規則 f，f的優劣變體現在擬合效果 執行效率 引數儲存空間 泛化能力 即適應資料集以外的...
人臉對齊LBF 三
相似變換的目的是求解 兩個形狀之間的尺度和角度關係 和普氏分析的作用相同，不同點是不需要迭代求解，普氏分析理論上更準確，實際上在這裡沒什麼特殊效果。演算法步驟和思想 1 中心化兩個形狀 2 以質心為原點，計算其到沒乙個形狀點之間的距離，並求和 3 兩個形狀的尺度係數為2 中計算得到值的比值 4 以質...
人臉對齊LBF 四
隨機森林的訓練過程 1 隨機的選擇一部分樣本，按照一定的比例選擇樣本 2 訓練一棵樹的時候，隨機的選擇一部分特徵，訓練乙個節點，之後把樣本分為左右兩顆子樹 3 繼續在左子樹訓練樣本，隨機的選擇特徵 4 繼續在右子樹訓練樣本，隨機的選擇特徵 5 訓練出來乙個節點，繼續迴圈2 5步驟得到一棵樹 迴圈1 ...