下午煉丹的時候， 遇到兩個問題：
精度很正常的向上攀公升， 但是損失函式確實先急劇上公升， 再緩緩下降趨於平滑
損失函式和精度趨於穩定後的突然抖動
其實都是學習率的原因， 我用的優化器是adam，adam對學習率的敏感度較低， 學習率設成1e-2, 1e-3, 1e-4即可。
一開始設成0.5對adam太大了，如果是sgd的話設成0.5比較合適。
至於第一幅圖， 神經網路在初始化時其實已經有乙個相對較小的損失函式了（初始的權重值在乙個合理範圍內）， 而過大的學習率反而使得權重跑出了這個合理範圍
深度學習及機器學習的一些問題（面試）
1.為什麼正則化可以防止過擬合 參考鏈結 深度學習面試100題 深度學習面試100題 第1 5題 經典常考點cnn 深度學習面試100題 第6 10題 深度學習面試100題 第11 15題 深度學習面試100題 第16 20題 深度學習面試100題 第21 25題 深度學習面試100題 第26 30...
關於深度學習的一些思考
問1 有監督學習中，機器學習是什麼？答1 機器學習就是先假設乙個函式，使用訓練樣本來選取最優的引數 當有新樣本時，把特徵輸入已訓練好的函式中，得到 值。問2 神經網路中，神經元的作用是什麼？答2 1 對輸入特徵進行線性加權 z w1 a1 w2 a2 w3 a3 b，其中wi是權重，ai是特徵值，b...
MPLS學習一些問題（一）
為什麼叫mpls？multiprotocol label switching 多協議標籤交換 多協議 支援多種網路層協議 ip，ipv6 相容atm，幀中繼，ppp。標籤交換 根據標籤進行 2.mpls是二層交換和三層路由集合模型，為什麼？mpls核心採用二層交換 無需分析ip報文頭 三層路由在網路...