深度學習之生成對抗網路（Gan）

概念：

生成對抗網路（gan，generative adversatial networks）是一種深度學習模型，近年來無監督學習上最具前景的方法之一。

模型主要通用框架有（至少）兩個模組：生成模型（generative）和判別模型（discriminative）的互相博弈學習產生的相當好的輸出。

原始gan理論中，並不要求g和d都是神經網路，但使用中一般均使用深度神經網路作為g和d。

發展歷史：

ian j. goodfellow在2023年《generative adversarial networks》中提出的乙個通過對抗過程估計生成模型的新框架。

框架中同時訓練兩個模型，捕獲資料分布的生成模型g和估計樣本來自訓練資料的概率的判別模型d。g的訓練程式是將d錯誤的概率最大化。

方法：gan模型：

機器學習的模型可大體分為兩大類，生成模型和判別模型。判別模型需要輸入變數，通過某種模型來**，生成模型則是給定某種隱含資訊，來隨機產生觀測資料。

舉例：

對於判別模型，損失函式是容易定義的，因為輸出的目標相對簡單。但對於生成模型，損失函式的定義就不是難麼容易。我們對於生成結果的期望，往往是乙個曖昧不清，難以數學公理化定義的正規化。所以把生成模型的反饋部分交給判別模型處理。這就是把機器學習兩大模型結合在了一起。

gan的原理：

有哪些常見的生成式模型於判別式模型？

左圖是判別式模式，在學習svm時，很熟悉了，只要介面分得開，模型效能就一定好。右邊的時生成式模型。也可以用來分類，但是模型不會顯示的估計出左邊判別式中的分介面，

能夠分類，是因為估計出了兩個概率密度分布。

概率密度估計的準，分類器的效能就好。

各自的優劣。

判別式：

生成式模型：

總結：生成式模型可轉變為判別式模型，反之不能。

主要是因為判別式模型是沒有學習到資料本身的分布的，所以無法轉為生成式模型，因為它沒有聯合概率密度。判別式基本上就是在硬學習整個資料的分介面。要見過所有樣本，才能得到好的分介面。而生成模型，可能見一小部分樣本，就能估計出概率密度分布。

那樣就已經學習到了，迭代次數相對較少。

所以gan = （生成式模型 + 判別式模型）集兩家之所長，生成對抗網路。generative 生成式模型，adversarial 對抗，相愛相殺的過程。

在訓練過程中，生成網路g的目標就是盡量生成真實的去欺騙判別網路d，而d的目標就是盡量把真實和g生成的區別開來，這樣g和d就構成了乙個動態的博弈過程。

最後博弈的結果？

理想狀態下，g可以生成足以以假亂真的g（z）。對於d來說，它難以判定g生成的究竟是不是真實的，一次d（g（z）） = 0.5。

這樣我們的目的就達成了，我們得到了乙個生成式的模型g，他可以用來生成。

goodfellow從理論上證明了該演算法的收斂性，以及在模型收斂時，生成資料具有和真實資料相同的分布。

gan公式：

公式中x表示真實，z表示輸入g網路的早上，g（z）表示網路生成的，d（·）表示網路判斷是否真實的概率。

d就是判別器。學習目標就是最大化上面的式子。g是生成器，目標就是最小化上面的式子。

應用：影象生成，目前gan最常用的地方就是超解析度任務，語義分割等等。

資料增強。

風格化

創造性藝術