本篇**發表於 siggraph 2017，並入選 technical *****s preview trailer。為便於非專業人士閱讀，以下介紹盡量不夾帶英文和公式，也盡量精簡扼要。
臉部建模一直是計算機影象和視覺領域的熱門話題，包括**人物建模、人臉藝術設計、人臉實時重構等等，尤其是互動式人臉建模。我們構建了乙個快速的、互動的、基於深度學習的人臉建模框架。通過簡單勾勒人臉圖畫（caricature），我們的模型可以迅速生成對應的三維人臉模型，並且可以同時擬合面部輪廓和細節表情。同時我們也提供了多種方式進行快速的模型修改。實驗證明我們的結果具有高精度和快速度。
youtube: deepsketch2face(siggraph2017) youtube
框架的流程如圖所示：
初始繪製模式（initial sketching mode）
我們採用了卷積神經網路（cnn）來學習二維繪畫的人臉特徵。如圖所示，輸入是 256 乘 256 大小的繪畫，通過卷積層提取特徵，結合每個畫素點的雙線性插值編碼，利用不同的全連線層，最終輸出乙個 50 維的人臉向量和乙個 16 維的表情向量。我們預設了 50 個人臉基底和 16 個表情基底，最終輸出的模型則是向量和基底的點乘。我們可以做到近乎實時的渲染，即使用者每勾勒一筆線條，迅速輸出對應的擬合三維模型。（對於卷積層，我們採用了較老的 alexnet。我們也試驗了 resnet 等更新的網路結構，在精度上沒有特別顯著的提公升；同時考慮到實時繪製的速度要求，我們選擇了這樣乙個折衷方案。）
以下是一些真實渲染結果：
連續繪製模式（follow-up sketching mode）
利用同樣的卷積神經網路以及區域變形技術（laplacian deformation），我們給使用者提供了簡易修改的繪製方案。對於不精於從空白紙張繪製肖像的使用者，或者不想生成複雜人臉形狀的使用者，可跳躍第一步直接進行連續繪製。在連續繪製模式下，由單向工程（二維 -> 三維）轉變為雙向工程 （二維 三維）：使用者可直接從當前生成或缺省的三維模型得到乙個二維的人臉輪廓，並基於這個人臉輪廓進行修改、刪除、變形等操作；類似於第一步，這個二維輪廓可以生成相應的三維模型。
下圖是乙個典型的通過連續繪製模式生成的模型：
精細修改模式（gesture-based refinement）
我們提供了基於手勢的精細修改模式。如圖所示，使用者可以通過相應的手勢，選取影象的區域進行變形，如面頰凸起，眉毛修改、面部輪廓修改等等。使用者的手勢也是通過乙個簡單的卷積神經網路學習，輸入是使用者繪畫的手勢，輸出是對應的操作。
其他
平均來講，基於我們的框架，新手繪製乙個人臉模型只需要 5～7 分鐘，熟練後甚至在一兩分鐘內就畫出乙個逼真的人臉模型。我們支援多種模型格式輸出，以便對接其他平台。使用者在實時操作過程中可以無障礙地進行撤銷和恢復操作。使用者操作視窗本身也支援各種常見的渲染操作，如放大縮小旋轉移動貼圖等等。同時，我們也提供了乙個用於人臉建模的資料庫，包含極大量的人臉模型，及其不同的表情和誇張程度（levels of exaggeration）
結尾
有了這個軟體，再也不用擔心不會建模了！更多關於模型的細節和數學公式，請參考原**。
----------------------------------
更新：鑑於大家的需求，我們會陸續上傳 demo 檔案和資料庫資料（預計八月），需要的童鞋們可以先 star 我們的 repo: irsisyphus/deepsketch2face
***********************************=分割線******************************==
人臉識別的深度學習
深度學習只不過是機器學習的標準範例，更準確地說 是其演算法之一。在最大程度上，它基於人腦的概念和神經元的相互作用。如果你開始谷歌搜尋深度學習是什麼，你會發現今天這個超級熱門詞遠遠不是新的。為什麼這樣？該術語本身出現在20世紀80年代，但到2012年，沒有足夠的力量來實施這項技術，幾乎沒有人關注它。在...
人臉識別的深度學習
深度學習只不過是機器學習的標準範例，更準確地說 是其演算法之一。在最大程度上，它基於人腦的概念和神經元的相互作用。如果你開始谷歌搜尋深度學習是什麼，你會發現今天這個超級熱門詞遠遠不是新的。為什麼這樣？該術語本身出現在20世紀80年代，但到2012年，沒有足夠的力量來實施這項技術，幾乎沒有人關注它。在...
深度學習 人臉檢測概述
在目標檢測領域可以劃分為人臉檢測與通用目標檢測，往往人臉檢測這方面會有專門的演算法 包括人臉檢測 人臉識別 人臉其他屬性的識別等等 並且和通用目標檢測 識別 會有一定的差別，這主要是因為人臉的特殊性 有時候目標比較小 人臉之間特徵不明顯 遮擋問題等 下面我們將從人臉檢測和通用檢測兩個方面來講解目標檢...