generative adversarial nets, 生成式對抗網路
gan框架
生成器(generator)：欺騙判別器。生成虛假資料，使得判別器d能夠盡可能給出高的評分1
隨機雜訊z：從乙個先驗分布（人為定義，一般是均勻分布或者正態分佈）中隨機取樣的向量（輸入的向量維度越高，其生成影象的種類越多）
真實樣本x：從資料庫中取樣的樣本
合成樣本g(z)：生成模型g輸出的樣本
目標函式：
訓練演算法
固定判別器d，訓練生成器g欺騙判別器d
kl散度：一種衡量兩個概率分布的匹配程度的指標
js散度
conditional gan, 條件生成式對抗網路
deep convlutional gan, 深度卷積生成式對抗網路
dcgan，使用卷積神經網路作為判別器和生成器
通過大量的工程實踐，經驗性地提出一系列的網路結構和優化策略，來有效的建模影象資料
判別器生成器：滑動反卷積
wasserstein gan with weight clipping/ gradient penalty
js散度
所以可以看到gan網路的訓練效果是和js散度相關聯的
當\(p_1(x) != 0 and p_2(x)=0\)或\(p_1(x) = 0 and p_2(x)!=0\)
當\(p_1(x) != 0 and p_2(x)!=0\)
但\(p_(x)\)與\(p_g(x)\)發生不重疊（或重疊部分可忽略）的可能性非常大，即\(p_1(x) != 0 and p_2(x)!=0\)這種情況發生概率很小
gan：真實資料分布\(p_\)和生成資料分布\(p_g\)是高維空間中的維度流形，它們重疊的區域可以忽略不記（能夠提供梯度資訊的資料可以忽略不記） == =》所以無論它們相距多少，其js散度都是常數（僅當完全重合時，js散度為零），導致生成器的梯度（近似）為零，造成梯度消失===》gan優化困難
wasserstein距離
下面討論所有可能出現的聯合分布形式，下面僅舉例其中可能的兩種
所以得到w距離為2
可以理解為：將分布p1移動到分布p2，已知彼此距離\(||x-y||\)，選擇乙個合適的移動方案γ（聯合分布），讓走的路徑最小，就是w距離。
但inf（窮舉所有可能，取下界）項無法直接求解
wgan-gp
wgan-gp：把lipschitz限制作為乙個正則項加到wasserstein損失上，在優化gan損失的同時，盡可能滿足lipschitz限制
譜歸一化層實現利普希茨連續
建模長距離依賴關係
引入自注意力機制
u-net
用cgan實現影象翻譯
無須paired資料，學習影象翻譯
迴圈一致性損失
乙個gan，多種資料，任意變換
生成式對抗網路GAN
判別式模型和生成是模型的區別 假設研究物件為變數為x,類別變數為y,則 判別式模型 只是對給定的樣本進行分類，不關心資料如何生成。按照一定的判別準則，從資料中直接學習決策函式y f x 或者條件概率分布p y x a 作為 的模型 典型的判別模型包括 k近鄰法，決策樹，最大熵模型，支援向量機等 生成...
生成式對抗網路GAN
一 背景 gan的用途 影象超畫素 背景模糊 影象修復 二 生成式對抗網路gan 生成模型 乙個能夠生成我們想要的資料的模型 圖模型 函式 神經網路 gan 目的就是訓練乙個生成模型，生成我們想要的資料 生成器和判別器是對抗的 三 訓練演算法 隨機初始化生成器和判別器 交替訓練判別器d和生成器g直到...
生成對抗式網路 GAN
lan goodfellow 加拿大蒙特婁大學 neurips 基於對抗的新生成式模型，它由乙個生成器和乙個判別器組成 生成器的目標是學習樣本的資料分布，從而能生成樣本欺騙判別器 判別器的目標是判斷輸入樣本是生成 真實的概率 gan模型等同於博弈論中的二人零和博弈 對於任意生成器和判別器，都存在乙個...