1 pre-train 帶來更好的優化還是更好的泛化？
pre-train是乙個尋網路權值初值的過程，將pre-train的結果作為bp演算法的權值的初值，能夠解決深度網路在非凸目標函式上陷入區域性最優的問題。從這個角度理解更象是帶來更好的優化能力。在帶有pre-train的深度網路的泛化表現上不僅僅是訓練誤差很小，同時泛化誤差也很小，下圖可以看出帶有pre-train的網路在減小測試誤差的能力上更優秀，感覺是pre-train的網路能夠找到乙個泛化能力好但是訓練誤差不一定好的初值，從這裡更象是乙個正則化的方法。
2 pre-train 在什麼情況是有效的？
試驗結果說明，淺層簡單的網路並不需要pre-train，也好理解，如果淺層網路能夠解決的問題，正則化反而會損害模型的表達能力。而在表達能力太強的深層網路，需要pre-train來約束網路的表能力。
深度學習深理解 七 改善深度神經網路 第三週
總結一下今天的學習過程 超採納數的選擇原則 學習率 或者採用衰減的學習率 hidden unit num mini batch size layers num momentum 預設0.9 adam 1，2 e 預設 0.9，0.999，10e 8 採用隨機均勻取值 根據機器的效能 採用一種照看乙個...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...
深度學習 深度前饋網路
1 學習xor 2 基於梯度的學習 3 隱藏單元 4 架構設計 5 反向傳播 和其他微分演算法 6 歷史小計 reference 原文 joselynzhao.top 夏木青 深度前饋網路 資訊流過 x 的函式，流經用於 定義 f 的中間計算過程，最終到達輸出 y。前饋神經網路被稱作網路 netwo...