1).一般的人臉特徵點定位模型都是基於可見的特徵點訓練得到的所以不適合側臉的特徵點定位。
2).從正臉到側臉的大姿態變化導致人臉外觀也產生巨大的變化
3).在大姿態下標註不可見的人臉特徵點存在巨大的挑戰。
解決方案：
提出了乙個新的人臉對齊框架3ddfa（3d dense face alignment），該框架主要通過cnn將乙個稠密3d人臉模型來擬合人臉。還通過在側臉上合成大尺度訓練樣本來解決第三個問題。
2).為了解決3ddfa擬合過程，本文使用乙個基於回歸的級聯卷積神經網路，cnn可以從大姿態變化的中抽取有用的資訊。另外本文為了cnn更好的擬合3d人臉模型，專門設計了pncc特徵（projected normalized coordinate code）和wpdc(weighted parameter distance cost)代價函式。
3).為了更好的訓練3ddfa，文章會構建了乙個包含成對的2d人臉形狀和3d人臉模型。
1 3d形變模型
s是通過pca描述的人臉空間。
其中p=[f,pitch,yaw,roll,t2d,αid，αexp]，通過弱透視投影（weak perspective projectio ）將3d人臉對映到人臉平面。
2 網路結構
這裡k表示迭代次數，也就是迭代估計方式，訓練引數p，pncc特徵的計算與當前形狀相關，可以反映當前形狀的資訊；演算法的輸出為3d人臉形狀模型引數
3 歸一化投影座標編碼（pncc）
4 損失函式
1.引數距離代價函式parameter distance cost (pdc)
採用cnn**引數增量
2.頂點距離代價函式vertex distance cost (vdc )
為了使3dmm更好的形變到3d人臉上，通過最小化擬合的和真實的3d人臉之間的頂距離誤差來優化
3.加權引數距離代價函式
5 生**臉側臉來構造大姿態人臉庫
通過對人臉採用mff（multi-features framework ）擬合得到3d人臉，對人臉區域外的部分採用3d meshing方法進行三角剖分，然後在3d空間中對人臉進行旋轉得到不同姿態下的人臉從而擴大訓練樣本。
6 總結
本篇文章提出了乙個新的方法-3ddfa來解決大姿態的人臉對齊，通過級聯cnn擬合乙個稠密3d形變模型來解決在擬合過程中由於大姿態導致的自遮擋和高度非線性問題。文章還提出了乙個側臉演算法來合成側臉的外觀特徵擴大訓練樣本。
增加乙份pytorch版本復現的3ddfa：
3D人臉重建
有關鍵點，有權重，好像12.58m,效果好比較好 據說gtx1080可達10ms 幀，值得試試 位址在 參考 關於速度 mobilenet vs.resnet50 2dasl 漏斗型網路 prnet 關於效能 同樣的訓練集，基於輕量網路的 3ddfa 甚至可以超過 prnet 當然有暴力調參的功勞 ...
人臉掃瞄建模 3D建模 新手3D建模設計知識點
3d建模設計職業 如今，3d建模被廣泛應用於各個領域。醫療行業使用詳細的器官3d模型，包括來自ct或mri掃瞄的2 d影象切片。建築師和工程師還利用3d軟體程式來展示擬議的建築，景觀，裝置，結構，車輛等。甚至科學家也開始使用3d地質模型。例如，學家利用它們來 由於板塊，侵蝕等引起的地殼內部事件。當然...
不要為3d而3d
和以前的幾個朋友聊天，也有做game的。發現大家對3d技術都非常熱衷，但是這種熱衷顯得刻意的 為3d而3d，就有點捨本逐末。1 遊戲最重要的是策劃，需要具體的滿足人心底的某種需求，2 3d需要 好顯示卡的支援，這樣就將一部分使用者排斥在外面了。3 現在3d engine已經 很成熟了，通過這些上面的...