gan的優化問題：
訓練gan最大的問題：訓練的不穩定性。
理論上，應優先訓練好判別器，但實際上，判別器訓練地越好，生成器反而越難優化。
真實資料的分布，通常是乙個低維度流形。
所謂流形，是指資料雖然分布在高維度空間裡，但實際上資料並不具備高維度特性，而是存在於乙個嵌入在高維度的低維度空間裡。
生成器要做的事情是，把乙個低維度的空間z對映到與真實資料相同的高維度空間上。
我們希望要做的事情是，能夠把我們生成的這個低維度流形盡可能地逼近真實資料的流形。
若生成資料與真實資料，它們的低維度流形的重疊處在全維度上測度為零的話，則js散度始終為log2，kl散度為正無窮。
若上述情況發生的話，當判別器d在逼近完美判別器d*的時候，生成器優化梯度會有乙個非常小的上界，並且無限接近於0。
1、對生成器換乙個不同的梯度函式，則會導致網路更新不穩定，隨著訓練迭代次數的上公升，梯度的方差也在增加，造成樣本質量低。
2、對判別器的輸入認為地加入乙個隨機雜訊。若生成與真實資料相似度距離較遠時，新增雜訊則無效。
wasserstein距離(em距離、推土機距離)：
設乙個二維空間，真實資料π0的分布是，x軸為0，y軸為隨機變數分布。生成資料的分布為，x軸為θ，y軸也為隨機變數的分布。
w(p0,pθ)=|θ|，在θ逼近零的過程中，只有w距離公式在減小。
lipschitz條件是，函式的導數始終小於某個固定的常數k。
加入1-lipschitz條件是為了保證f(x)的梯度變化不會過大，從而使得網路能夠保持正常的梯度優化：
令f(x)滿足引數化條件，則
為實現引數化條件，在網路中使用的小技巧是，權值裁剪，該方法是將權值的範圍嚴格限制在[-c,c]之間。
通過實驗可知，網路要做的事情是通過判別器的梯度來優化網路引數，而wgan對應的梯度則幾乎是線性的，可很好地達到真實資料分布與生成資料分布重合的目的。
wgan的實驗效果分析：
1、代價函式與生成質量成正相關。
2、wgan具有比原始gan更穩定的生成能力。雖在最優架構中無法體現出優勢，但一旦網路出現問題，wgan能夠避免生成影象質量的急速下降。
3、wgan沒有出現大規模的模式崩潰。模式崩潰是指，生成器不具備多樣性，往往會不斷地重複同樣的影象或者同型別的影象作為生成結果。
wgan的改進方案：wgan-gp：
使用梯度懲罰的方法替代本來的權值裁剪。
權值裁剪會出現較為嚴重的問題：
1、限制了網路的表現能力。網路權值被限制在了固定的範圍內，神經網路很難模擬出那些複雜的函式，而只能產生一些比較簡單的函式。
2、梯度**和梯度消失。權值裁剪會使非常多的權值都會固定在邊界上。
梯度懲罰：在原有wgan的基礎上新增梯度懲罰項
上述懲罰項中的取樣分布
wgan-gp無法使用批歸一化，推薦使用層歸一化。
《生成對抗網路入門指南》學習筆記（一）
人工智慧元年 2017 alphago 擊敗了柯潔。圖靈測試 如果一台機器能夠與人類展開對話 通過電傳裝置 而不能被辨別出其機器身份，那麼稱這台機器具有智慧型。打造人工大腦，需要回答的三個問題 1 大腦如何運轉 正在探索 2 大腦的執行機制可否，拆分成差異性極低的可衡量單位 神經學家解答是，神經元 ...
GAN學習筆記 生成對抗網路
看了ian大神的 學習一下gan。一 基本介紹 生成對抗網路由兩部分組成 generatative model 和 discriminative model，以下分別簡稱為g 和 d。在gan中，訓練集是無標籤資料集data，g接受資料z，產生g z 而d判定g產生的資料是來自於真實資料data還是...
半監督生成對抗網路 生成對抗網路
一 生成對抗網路相關概念 一 生成模型在概率統計理論中，生成模型是指能夠在給定某些隱含引數的條件下，隨機生成觀測資料的模型，它給觀測值和標註資料序列指定乙個聯合概率分布。在機器學習中，生成模型可以用來直接對資料建模，也可以用來建立變數間的條件概率分布。通常可以分為兩個型別，一種是可以完全表示出資料確...