為什麼用交叉熵代替二次代價函式
感覺其實主要就兩點：
深層表示帶來的高階語義
單層雖也可以擬合任意函式，但是相對而言參數量指數級上公升，太大，且不好訓練
為什麼神經網路選擇了「深度」？
單層神經網路、多層感知機、深度學習的總結
吳恩達深度學習筆記(24)-為什麼要使用深度神經網路？
詳解機器學習中的梯度消失、**原因及其解決方法
出現梯度消失和梯度**的原因及解決方案
訓練深度神經網路失敗的罪魁禍首不是梯度消失，而是退化
一文讀懂深度學習與機器學習的差異
深度學習 日常小點積累
描述 比如將乙個3乘3的卷積換為乙個3乘1的卷積 乙個1乘3的卷積。特點 減少參數量 在哪見到 學習factorization into small convolutions的思想，將乙個二維卷積拆分成兩個較小卷積，例如將7 7卷積拆成1 7卷積和7 1卷積。這樣做的好處是降低參數量。中指出，通過這...
深度學習中的數值計算問題
連續數學在數字計算機上的根本困難 我們需要通過有限數量的位模式來表示無限多的實數。計算機在表示實數時總會引入一些近似誤差，這些捨入誤差會導致上溢和下溢問題。舉例 softmax函式 sof tmax x i exi jn exj softmax x frac e softma x x i jn ex...
深度學習系統中的log問題
在訓練模型的過程中，總會進行調參工作。原則上是，讓機器跑，人抽身出來，做更愉悅身心的事。此時，就可以想辦法把調參過程中的引數保留下來，等事後再來觀察結果，分析結論。那麼有什麼打log的方法呢？1.首先是利用第三方工具，logging,去打log。但這種方法要求你在 中要定義相應的logging。比如...