中科院自動化所（casia），中科院大學和南昌大學的一項合作研究，提出了雙路徑 gan（tp-gan），通過單一側面**合成正面人臉影象，取得了當前較好的結果。研究人員提出了乙個像人類一樣能夠考慮整體和區域性資訊的 gan 結構，合成的影象非常逼真且很好地保留了身份特徵，並且可以處理大量不同姿勢的**。研究人員指出，這些合成的影象有可能用於人臉分析的任務。
他們受人類視覺識別過程啟發，結合對抗生成網路（gan）的強大效能，提出了乙個雙路徑 gan（tp-gan），能夠在關注整體結構的同時，處理人臉面部細節，在不同的角度、光照條件都取得了很好的結果。不僅如此，這種方法還能夠處理大量不同姿勢的**。
他們的這項工作主要貢獻在於三個方面：
1）提出了乙個像人類一樣能夠考慮整體和區域性資訊的 gan 結構，能夠根據單一的影象合成正面人臉檢視，合成的影象非常逼真且很好地保留了身份特徵，而且可以應對大量不同的姿勢。
2）將從資料分布（對抗訓練）得來的先驗知識，和人臉領域知識（對稱性、身份保留損失）結合起來，將從三維物體投射到二維影象空間時固有的缺失資訊較精確地恢復了出來。
3）展示了乙個「通過生成進行識別」（recognition via generation）的框架的可能性，並且在大量不同姿勢下取得了目前較好的識別結果。
受此啟發，作者提出了乙個有兩條路徑的深度架構（tp-gan），用於正面人臉影象合成。這兩條路徑，一條專注於推理全域性結構，另一條則推理區域性的紋理，分別得到兩個特徵地圖。這兩個特徵圖會融合在一起，用於接下來的最終合成。
tp-gan總結構示意圖。生成器包含兩個路徑，乙個處理全域性資訊，乙個處理區域性變換。判別器在合成的正面（sf）檢視和真實相片（gt）。
不僅如此，作者還將正面人臉分布的資訊併入了乙個生成對抗網路（gan），由此對恢復過程進行了很好的約束。
gan 在二維資料分布建模方面的卓越效能（capacity）極大地改善了很多不合理的低階視覺問題，比如超解析度和修復（inpainting）。
組合多種loss，合成缺失部分，保留面部突出特徵。
根據人臉是對稱結構這一點，提出了乙個對稱性損失（symmetry loss），用於補全被遮擋住的部分。
困難場景。面部特徵，包括鬍鬚、眼鏡，tp-gan 都保留了下來。最右邊一欄，上面那張圖將臉頰恢復了出來，下面那張圖則是側面看不見額頭，但 tp-gan 成功地將額頭恢復了出來。
為了忠實地保留乙個人臉部最突出的特徵，作者在壓縮特徵空間中除了畫素級別的l1 loss，還使用了乙個感知損失（perceptual loss）。
最後，關鍵一環，將身份保留損失（identity preserving loss）整合進來，實現忠實的正面臉部合成，影象質量得到大幅提公升。
tp-gan 根據不同姿勢合成的結果。從左到右：90°、75°、45°、60°、30°和 15°。最後一欄是真實相片。
使用單一臉部影象合成逼真的正面臉部檢視在人臉識別領域中有著廣泛的應用。儘管此前有研究試圖從大量面部資料中尋求解決方案，也即資料驅動的深度學習方法，但這個問題仍然具有挑戰性，因為它本質上是個不合理的問題（ill-posed）。
機器學習
TP GAN 側臉修復
訓練需要8組資料，所以沒有通用性 class generator nn.module def init self,noise dim,num classes super generator,self init self.path left eye localpathway self.path rig...
Oracle恢復（七） 基於時間的恢復
首先有備份 其次知道自己想要恢復到的歷史時間 拷貝備份的所有資料檔案回來，startup mount 啟動到mount狀態 recover database until time 2012 04 10 16 43 01 穿越到今天 呵呵 因為10號發工資，所以喜歡穿越到10號 mediarecove...
Unity 捏臉整理及基於骨骼的捏臉功能實現
目前實現捏臉功能的方式主要有兩種。乙個是blendshape 融合變形 乙個是基於骨骼驅動的方式，通過修改骨骼矩陣 bindpose 來影響skinmesh。這兩種方式的最終原理都是在shader 生效之前修改頂點。融合變形 優點 可以控制非常細微的變化，通常用於面部動畫。缺點 blendshape...