綜述-分析-歸納
2016-iclr
abstract，related work --沒說穩定性的問題
dcgan的出發點：cnn結構+gans模型學習，質量優良的影象表徵。其後將生成器或者和判別器作為監督學習的特徵提取器
3. aproach and model architecture
也有很多人嘗試將cnn與gan模型結合，但是沒有成功。
作者認為在gans模型提出後關於gan模型學習過程的理解和視覺化的工作缺乏，並且gans模型中生成器和判別器的大多使用多層感知機的全連線結構。（不穩定性基本上沒有分析），他們將卷積神經網路引入到gans模型中，利用大量的實驗尋找合適的的結構致力於解決gans模型訓練不穩定問題。
dc-gan利用卷積提取影象的層次視覺特徵，其有利於提公升判別網路能力。dc-gan通過調整卷積神經網路的結構以提高樣本的質量和收斂速度，這些調整包括：取消所有pooling 層；在生成網路和判別網路中均使用batch-normalization[13]操作；去掉全連線層，使網路變為全卷積網路；生成網路中使用relu[14]作為啟用函式，最後一層使用tanh[15]作為啟用函式，判別網路使用leakyrelu[16]作為啟用函式等。圖2-4為dc-gan生成網路的結構圖。圖2-5為dc-gan使用大規模場景資料集lsun[17] 房間子集訓練的模型生成的房間場景影象。
文章出發點：高畫質，真實影象生成。
通過實驗探索了：不同的訓練批次大小(batchsize) 、每層卷積通道(channel)數、shared、hierarchical latent space對gans 模型效能的影響。文章表明：對於batchsize，簡單的增大batchsize 可以使模型效能獲得較好的提公升，但會使訓練穩定性下降；對於channel數，一定範圍內增加卷積通道數，對提公升模型效能有益處；但是超過一定的範圍之後，效能不公升反降。
然後：分析訓練崩潰現象發生時網路權重引數有啥表現
判別網路權重矩陣的前三個奇異值毛刺多，在發生崩潰時有乙個突躍向上。生成網路權重矩陣奇異值曲線平滑，但是崩潰時有乙個突躍向上。
反制措施：
針對g：限制奇異值大小
針對d：d網路的梯度懲罰
（推薦）令人拍案叫絕wasserstein gan—
towards principled methods for training
generative adversarial networks
wgan前作：分析了gans模型目標函式的缺陷：會導致訓不動和訓練不穩定。
wgan：正式提出wgan，但是lipschitz約束採用截斷判別器引數的方式實現，不夠優雅。
wgan-gp：lipschitz約束使用判別器梯度懲罰的方式實現。
sn-wgan：lipschitz約束使用判別器引數每一層w頻譜範數限制為1的方式實現。
f-gan將所有gan模型統一到f-divergence 下，是乙個比較優雅的工作。不過沒有致力於解決訓練不穩定問題吧。
improved techniques for training gans：包含了很多促進gan穩定訓練的啟發式技巧。
機器學習之模型訓練
通過sklearn自帶資料報載入iris資料 from sklearn import datasets iris datasets.load iris 樣本資料與結果分別賦值到 x y x iris.data y iris.target 確定樣本與輸出資料維度 print x.shape print...
機器學習訓練營
邏輯回歸 logistic regression，簡稱lr 雖然其中帶有 回歸 兩個字，但邏輯回歸其實是乙個分類模型，並且廣泛應用於各個領域之中。雖然現在深度學習相對於這些傳統方法更為火熱，但實則這些傳統方法由於其獨特的優勢依然廣泛應用於各個領域中。而對於邏輯回歸而且，最為突出的兩點就是其模型簡單和...
機器學習 習題1 1
題目 表1.1中若只包含編號為1和4的兩個樣例，試給出相應的版本空間 表1.1 西瓜資料集 編號 色澤根蒂 敲聲好瓜1青綠 蜷縮濁響是4 烏黑稍蜷沉悶否 解答 2.色澤 青綠 根蒂 敲聲 3.色澤 烏黑 根蒂 敲聲 4.色澤 根蒂 蜷縮 敲聲 5.色澤 根蒂 稍蜷 敲聲 6.色澤 根蒂 敲聲 濁響 ...