觀察loss勝於觀察準確率，loss設計要合理，對比訓練集和驗證集的loss；
relu可以很好的防止梯度瀰散問題，當然最後一層的啟用函式千萬慎用relu，如果是分類的用softmax；
batchnorm可以大大加快訓練速度和模型效能；
dropout防止過擬合，可直接設定為0.5，即一半一半，測試的時候把dropout關掉；
選擇adam 優化函式，收斂速度非常快的乙個優化函式；
loss選擇。一般來說分類就是softmax, 回歸就是l2的loss. 但是要注意loss的錯誤範圍(主要是回歸), 你**乙個label是10000的值, 模型輸出0, 你算算這loss多大；
準確率雖然是評測指標, 但是訓練過程中還是要注意loss的. 你會發現有些情況下, 準確率是突變的, 原來一直是0, 可能保持上千迭代, 然後突然變1。而loss是不會有這麼詭異的情況發生的, 畢竟優化目標是loss；
learning rate設定合理。太大: loss**, 或者nan，太小: 半天loss沒反映；
對比訓練集和驗證集的loss。判斷過擬合, 訓練是否足夠, 是否需要early stop的依據。
調參煉丹 深度學習訓練的小技巧，調參經驗。
經常會被問到你用深度學習訓練模型時怎麼樣改善你的結果呢？然後每次都懵逼了，一是自己懂的不多，二是實驗的不多，三是記性不行忘記了。所以寫這篇部落格，記錄下別人以及自己的一些經驗。ilya sutskever hinton的學生 講述了有關深度學習的見解及實用建議 獲取資料 確保要有高質量的輸入 輸出資...
深度學習調參技巧
模型引數的一般設定 epoch迭代幾十到幾百次。mini batch size從幾十到幾百，為了更好的利用硬體加速，通常取8的倍數，例如128,256。learning rate取0.1 資料集越大，模型越複雜，應取值越小 weight decay取0.005，momentum取0.9。dropou...
深度學習調參技巧
1 準備資料 務必保證有大量 高質量並且帶有乾淨標籤的資料，沒有如此的資料，學習是不可能的 2 預處理 這個不多說，就是0均值和1方差化 3 minibatch 建議值128,1最好，但是效率不高，但是千萬不要用過大的數值，否則很容易過擬合 4 梯度歸一化 其實就是計算出來梯度之後，要除以minib...