常見的GAN網路的相關原理及推導

常見的gan網路的相關原理及推導

gan，生成對抗網路，主要有兩部分構成：生成器，判別器。

生成器網路的主要工作是負責生成樣本資料，輸入的是高斯白雜訊z，輸出的是樣本資料向量x：

判別器網路的主要工作是負責檢測樣本的資料增加，輸入真實或者生成的樣本資料，輸出樣本的標籤：

由於生成器和判別器都是需要經過網路進行訓練的，所以兩者都要能夠微分。

生成對抗網路的工作方式是讓第一代的g產生一些，然後把這些和一些真實的丟到第一代的d裡面去學習，讓第一代的d能夠分別生成的影象和真實的。在訓練第二代的g，第二代的g產生的，能夠騙過第一代的d，在訓練第二代的d，依次迭代。

那麼，問題就來了，如何訓練新一代的g來騙過上一代的d呢？

我們可以把新一代的g和上一代的d連起來形成乙個新的nn，我們訓練最終的輸出接近1，然後我們那中間的結果當做我們新的的輸出。

優化函式

生成器g固定之後，使用

來評價pdata和pz之間的差異。優化方式，對於生成器優化而言，我們要最小化價值函式，對於判別器而言，我們要優化最大價值函式，不斷的交替進行之後，能夠達到有個平衡點，稱之為納什均衡點。

生成器最小化目標即為判別器將生成資料識別為假的概率的log值，對於上述提到的均衡點，它是判別代價函式的鞍點。

對於gan的訓練演算法，步驟如下：

a、執行d-step的minibatch優化k次：

1.從先驗分布p(z)隨機生成m個隨機雜訊向量z

2.從資料集分布p(x)裡隨機獲取m個樣本x

3.使用隨機梯度上公升優化判別器的代價函式

b.執行g-step的minibatch優化1次：

1.從先驗分布p(z)隨機生成m個隨機雜訊向量z

2.使用梯度下降優化生成器的代價函式

我們可以通過下面的曲線進一步理解訓練過程：

其中，綠線為生成器的資料分布，黑線為真實資料的分布，藍線為判別器的結果分布。

gan的問題：

gan的訓練比較困難，主要存在收斂難，很難達到納什均衡點，並且無法有效監控收斂狀態，另一方面，模型容易崩潰，判別器快速達到最優，能力明顯強於生成器，生成器將資料集中生成在判別器最認可的空間上，即輸出多樣性低，不使用於離散輸出（不可微分）。