最優判別器
其中x表示一張, pr(x)表示真實中x出現的概率. pg(x)生成中x出現的概率. 最優判別器, 就是通過學習這兩種分布, 似合出公式4.
當判別器是最優判別器時, 生成器損失函式湊常數項得
由於pr與pg的支撐集是高維空間中的低維流形, pr與pg非常難有重疊部分, 得生成器損失函式中
具體表現為, 判別器訓練到最好時, 最終結果大量出現d(pr(x))=1,d(pg(x))=0, 而不是中間值. 生成器損失函式變為常數, 可以理解為對於單張梯度還在, 還會向後更新, 但是更新的部分只是pg的支撐集, 與pr的支撐集在高維空間上完全錯開了. 而所有構成的損失函式變為常數.
損失函式變形為:
1.kl(pg||pr)使得生成器少生成真實的樣本,懲罰微小, 而生成錯誤的樣本懲罰巨大, 造成collapse mode.
2.由於前兩項優化目標相反, 梯度不穩定
數學角度的GAN的改進方法
gan的discriminator評估的方式其實是計算p gp g pg 和pda ta p pd ata 的js散度。但是js 散度面對乙個問題 當兩個分布沒有重合，得到的js散度就是log 2log2 log2 同時之前從散度角度理解gan，使用js散度還面臨mode collapse和mode...
常見的GAN網路的相關原理及推導
常見的gan網路的相關原理及推導 gan，生成對抗網路，主要有兩部分構成 生成器，判別器。生成器網路的主要工作是負責生成樣本資料，輸入的是高斯白雜訊z，輸出的是樣本資料向量x 判別器網路的主要工作是負責檢測樣本的資料增加，輸入真實或者生成的樣本資料，輸出樣本的標籤 由於生成器和判別器都是需要經過網路...
SVM 數學描述的推導
此前我們介紹了乙個最優化分類演算法 logistic 回歸。logistic 回歸數學公式推導 本文中，我們再來介紹另乙個最優化分類演算法 svm。svm 是 support vector machines 的縮寫，一般稱為 支援向量機 或 支援向量機 我們有下圖這些點，如何將紅點和藍點分開呢？下面...