零和遊戲(zero-sum game)
納什均衡
minimax演算法
gan借鑑了零和遊戲的思想,引入生成網路和辨別網路,讓兩個網路互相博弈,當辨別網路不能辨別資料來自於真實分布還是生成網路的時候,此時的生成網路可以當做乙個資料分布到另乙個資料分布的轉化器。
假設生成網路g
gg,辨別網路d
dd,noise資料z
zz,noise分布pz(
z)p_z(z)
pz(z)
,data資料x
xx,data分布p
gp_g
pg目標函式:
m in
gmax
dv(d
,g)=
ex∼p
data
(x)[
logd
(x)]
+ez∼
pz(z
)[lo
g(1−
d(g(
z)))
]min_max_v(d,g)=\mathbb e_(x)}[log d(x)]+\mathbb e_(z)}[log(1-d(g(z)))]
mingm
axd
v(d,
g)=e
x∼pd
ata
(x)
[log
d(x)
]+ez
∼pz
(z)
[log
(1−d
(g(z
)))]
max: 最大化辨別網路的辨別能力
min: 相當於最大化把g(z
)g(z)
g(z)
當成x
xx的概率(以假亂真)
###訓練流程
實際引數更新如下圖
優點:
缺點:ls-gan使用least squares作為loss function:
[外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳(img-qbc8z0gz-1618585505507)(./1495529121066.png)]
a是fake data的label,b是real data的label
相比於原始gan的sigmoid的交叉熵,有兩個優勢:
兩組引數
生成對抗網路(一)GAN
最近在研究深度學習相關的知識,看了cnn rnn dnn等經典的神經網路,然後研究了一下生成模型,也就是今天要講的生成對抗網路 gan 打算出乙個系列,畢竟關於生成對抗網路的 太多了,github上有整理,有興趣的小夥伴可以自己看看原 順便跑一下 真的很有意思。gan自誕生起一直頗受讚譽,後期也衍生...
GAN 生成對抗網路
原理 假設我們有兩個網路 乙個生g generator 乙個判別d discriminator g是乙個生成的的網路,它接受乙個隨機的雜訊z,通過這個雜訊生成,記做g z d是乙個判別網路,判斷一張是不是 真實的 它的輸入引數是x,x代表一張的。輸出d x 代表x為真實的概率,如果為1,就代表100...
生成對抗網路 GAN
原文 generative adversarial networks 模型組成 核心公式 演算法圖示化描述 全域性最優點 pg pdata 效果與對比展望 ming maxdv d,g exp data x logd x exp x x log 1 d g z 分析 上方為 gan 網路的核心演算法...