1、首先用通俗易懂的語言介紹一下什麼叫模式崩潰？
比如手寫數字識別，0-9一共10個數字，假設有10個模式，而我們網路只能**出0-5這幾個數字，無法識別其他數字的模式，就是模式崩潰了。
2、那麼為什麼會產生模式崩潰呢？
目前dnn只能**連續分布，而源資料分布往往是具有間斷點的非連續分布，所以在訓練過程中，dnn無法學習到具有間斷點的非連續分布。如果目標概率測度的支集具有多個聯通分支，gan訓練得到的又是連續對映，則有可能連續對映的值域集中在某乙個連通分支上，這就是模式崩潰（mode collapse），如果強行用乙個連續對映來覆蓋所有的連通分支，那麼這一連續對映的值域必然會覆蓋之外的一些區域，即gan會生成一些沒有現實意義的。
3、如何解決模式崩潰呢？
（1）資料多樣性：小批量識別和特徵對映是屬於這一類的兩種技術。小批量鑑別賦予鑑別器跨批比較樣本的能力，以幫助確定批是真還是假。特徵匹配修改了生成器的成本函式，以將生成的批的多樣性考慮在內。它通過匹配鑑別器特徵的統計資訊來實現這一點。
（2）預計**：防止模式間跳來跳去的貓鼠遊戲的一種方法是**未來，並在更新引數時**對策。允許生成器以完全可微的方式「展開」鑑別器的更新。現在不是生成器學習欺騙當前的鑑別器，而是學習最大限度地欺騙它。
（3）使用經驗重播：通過每隔一段時間向鑑別器顯示舊的假樣本，可以使模式間的跳來跳去最小化。這可以防止鑑別器變得太容易被利用，但僅限於生成器過去已經探索過的模式。
（4）使用多個gan：我們可以簡單地接受gan只覆蓋資料集中模式的乙個子集，並為不同模式訓練多個gans，而不是對抗模式崩潰。當合併時，這些gans覆蓋所有模式。adagan 3採用了這種方法。這裡的主要缺點是訓練多個gans需要很多時間。此外，使用gans的組合通常比只使用乙個gans更笨拙。
GAN學習系列2 GAN的起源
本文大約 5000 字，閱讀大約需要 10 分鐘 這是 gan 學習系列的第二篇文章，這篇文章將開始介紹 gan 的起源之作，鼻祖，也就是 ian goodfellow 在 2014 年發表在 iclr 的 generative adversarial networks 當然由於數學功底有限，所以會...
gan網路損失函式 GAN的損失函式
理解生成對抗網路的關鍵在於理解gan的損失函式 js散度 gan實際是通過對先驗分布施加乙個運算g,來擬合乙個新的分布 如果從傳統的判別式網路的思路出發，只要選定合適的loss，就可以使生成分布和真實分布之間的距離盡可能逼近 kl散度經常用來衡量分布之間距離 但kl散度是不對稱的。不對稱意味著，對於...
GAN原理總結
趁著期末補報告的機會,順便發個 基本上是兩篇經典文獻generative adversarial networks與unsupervised representation learning with deep convolutional generative adversarial networks...