完整筆記:
———————————————————————
本章借鑑內容:
ebgan的全稱是energy-based gan,它只改動了discriminator,使其不再去鑑別輸入影象是來自於
首先值得說明的是,圖中的autoencoder是提前用真實訓練好的,也就是說,如果輸入是來自真實資料集的,這個autoencoder就能產生和輸入非常相似的;但是如果輸入的是其他,autoencoder的輸出就不會和輸入相似。現在把這個autoencoder放入discriminator中,每當discriminator輸入一張image x,通過這個autoencoder得到重構影象x』,我們就能用x與x『的差值作為評判輸入影象x***壞的標準,當差值越低的時候意味著輸入越符合真實的特徵。
由此我們可以看到,ebgan的最大特點就是discriminator一開始就非常強(因為有pretrain),因此generator在一開始就能獲得比較大的「能量驅動」(energy based),使得在一開始generator就進步非常快。所以如果我們比較看中訓練效率,希望在短期內獲得乙個比較不錯的generator的話,就可以考慮ebgan。
更:上邊寫的太簡單了點,關於ebgan的詳細解釋,新寫了一篇:
【gans學習筆記】(二十三)ebgan深度理解
began看著與ebgan好像,二者確實存在著一些關聯。began的全稱是boundary equilibrium gan(邊界均衡gan),它借鑑了ebgan 和wgan 各自的一些優點,提出了一種新的評價生成器生成質量的方式,使gan即使使用很簡單的網路,也能實現很好的訓練效果,完全不用擔心模式崩潰(model collapse)和訓練不平衡的問題。
直觀來講,如果兩個分布越相近,我們可以認為他們越相似,當生成資料分布非常接近於真實資料分布的時候,這時候生成器就有足夠的生成能力。began代替了這種估計概率分布方法,它不直接去估計生成分布pg與真實分布px的差距,而是估計分布的誤差分布之間的差距,作者認為只要分布之間的誤差分布相近的話,也可以認為這些分布是相近的。
began中,作者做出了以下四個貢獻:
1. 提出了一種新的簡單強大gan網路結構,使用標準的訓練方式不加訓練trick也能很快且穩定的收斂
2. 對於gan中g,d的能力的平衡提出了一種均衡的概念
3. 提供了乙個超引數,這個超引數可以在影象的多樣性和生成質量之間做均衡
4. 提出了一種收斂程度的估計,這個機制只在wgan中出現過。
深度學習 42 EBGAN
energy based generative adversarial networks ebgan的思想是,將d網路看做乙個能量方程。當g網路生成的資料靠近真實的資料流形區域時能量就比較低,相反的能量就高。ebgan能生成更好的以及更高解析度 256 256 ebgan的損失函式不再是傳統gan使...
Django 學習筆記 十五
昨晚翻譯了two scoops django 1.5的第七章,今天就順手把第八章第一小節 best practices for class based views翻譯一下 至django1.3發布以來,django 已經提供了對基於類檢視的支援。早期cbvs的問題幾乎都被挑出,這應該感謝如marc ...
OpenGL學習筆記(十五)
我們需要告知opengl如何取樣紋理,所以我們必須使用紋理座標更新頂點資料 float vertices 由於我們新增了乙個額外的頂點屬性,我們必須告訴opengl我們新的頂點格式 glvertexattribpointer 2,2,gl float,gl false,8 sizeof float ...