GAN訓練不穩定原因

2021-09-26 05:49:28 字數 674 閱讀 4610

1、很難使得g和d同時收斂

大多深度模型的訓練都使用優化演算法尋找損失函式比較低的值。優化演算法通常是個可靠的「下山」過程。生成對抗神經網路要求雙方在博弈的過程中達到勢均力敵(均衡)。每個模型在更新的過程中(比如生成器)成功的「下山」,但同樣的更新可能會造成博弈的另乙個模型(比如判別器)「上山」。甚至有時候博弈雙方雖然最終達到了均衡,但雙方在不斷的抵消對方的進步並沒有使雙方同時達到乙個有用的地方。對所有模型同時梯度下降使得某些模型收斂但不是所有模型都達到收斂最優。

2、生成器g發生模式崩潰

對於不同的輸入生成相似的樣本,最壞的情況僅生成乙個單獨的樣本,判別器的學習會拒絕這些相似甚至相同的單一樣本。在實際應用中,完全的模式崩潰很少,區域性的模式崩潰很常見。區域性模式崩潰是指生成器使不同的包含相同的顏色或者紋理主題,或者不同的包含同一只狗的不同部分。minbatch gan緩解了模式崩潰的問題但同時也引發了counting, perspective和全域性結構等問題,這些問題通過設計更好的模型框架有可能解決。

3、生成器梯度消失問題

當判別器非常準確時,判別器的損失很快收斂到0,從而無法提供可靠的路徑使生成器的梯度繼續更新,造成生成器梯度消失。gan的訓練因為一開始隨機雜訊分布,與真實資料分布相差距離太遠,兩個分布之間幾乎沒有任何重疊的部分,這時候判別器能夠很快的學習把真實資料和生成的假資料區分開來達到判別器的最優,造成生成器的梯度無法繼續更新甚至梯度消失。

穩定與不穩定

1 氣泡排序 氣泡排序就是把小的元素往前調或者把大的元素往後調。比較是相鄰的兩個元素比較,交換也發生在這兩個元素之間。所以,如果兩個元素相等,我想你是不會再無聊地把他們倆交換一下的 如果兩個相等的元素沒有相鄰,那麼即使通過前面的兩兩交換把兩個相鄰起來,這時候也不會交換,所以相同元素的前後順序並沒有改...

穩定與不穩定排序

首先,排序演算法的穩定性大家應該都知道,通俗地講就是能保證排序前2個相等的數其在序列的前後位置順序和排序後它們兩個的前後位置順序相同。在簡單形式化一下,如果ai aj,ai原來在位置前,排序後ai還是要在aj位置前。其次,說一下穩定性的好處。排序演算法如果是穩定的,那麼從乙個鍵上排序,然後再從另乙個...

網路不穩定 網路不穩定,天氣來背鍋

王者上星 深夜吃雞,那些影響你上分的因素,除了不靠譜的隊友外,你可曾知道 天氣也在偷偷影響你?不知道大家有沒有這樣一種感覺,一到下雨天,家裡wifi的網速就明顯變慢!是的,這不是你的錯覺。空氣濕度對wifi訊號有很大的影響,水分子對2.45g頻段電磁波的吸收加熱作用尤為明顯,而家用微波爐和wifi用...