weight_decay防止過擬合的引數,使用方式:
1 樣本越多,該值越小
2 模型引數越多,該值越大
一般建議值:
weight_decay: 0.0005
lr_mult,decay_mult
關於偏置與引數使用不同的學習率與權重衰減項:
1 偏置的學習率一般為引數的兩倍
比如乙個卷積,有偏置的話,其學習率應該是
param
param
偏置設為2倍,能夠加速收斂
對於偏置,其衰減項一般設定為0,還是對應上面的卷積:
param
param
caffe 下與loss相關的一些說明:
1 train loss 不斷下降,test loss 不斷下降,說明網路正在學習
2 train loss 不斷下降,test loss 趨於不變,說明網路過擬合
3 train loss 趨於不變,test loss 趨於不變,說明學習遇到瓶頸,需要減小學習率或者批處理大小
4 train loss 趨於不變,test loss 不斷下降,說明資料集100%有問題
5 train loss 不斷上公升,test loss 不斷上公升(最終變為nan),可能是網路結構設計不當,訓練超引數設定不當,程式bug等某個問題引起
6 train loss 不斷上下跳動,可能引起的原因:學習率過大,或者批處理大小太小
caffe 中的一些引數介紹
net models bvlc alexnet train val.prototxt test iter 1000 test interval 1000 base lr 0.01 開始的學習率 lr policy step 學習率的drop是以gamma在每一次迭代中 gamma 0.1 steps...
mysql優化一些引數的設定
在整體的系統執行過程中，資料庫伺服器 mysql 的壓力是最大的，不僅占用很多的記憶體和 cpu 資源，而且占用著大部分的磁碟 io 資源，連 php 的官方都在聲稱，說 php 指令碼 80 的時間都在等待 mysql 查詢返回的結果。由此可見，提高系統的負載能力，降低 mysql 的資源消耗迫在...
caffe的一些自定義層以及一些引數說明
使用官方版本caffe跑densenet時出現報錯 message type caffe.poolingparameter has no field named ceil mode 原因是官方版本的caffe 可能是舊版本的關係 的pooling層的引數沒有 ceil mode 需要修改與pooli...