根據 caffe/src/caffe/proto/caffe.proto 裡的檔案，可以看到它有以下幾種學習率的衰減速機制：
1. fixed: 在訓練過程中，學習率不變；
2. step: 它的學習率的變化就像台價一樣；step by step 的； 其中的 gamma 與 stepsize需要設定的；
學習率=base lr * gamma^(iter num / step)
3.exp ：表示指數型的,其中引數 gamma 需要設定；
學習率=base_lr*gamma^iter
4. inv : 其中引數 gamma 與 power 都需要設定；
學習率 = base_lr*(1+gamma*iter)^(-power)
5.multistep: 可以設定多個 stepvalue的值, 在prototxt裡面也沒有具體介紹， 它由引數 stepsize 與 stepvalue 決定； 它不是每時第刻都去計算 學習率，而是達到我們設定的stepvalue的時候，才去計算（根據方法2中的公式），然後更新學習率； stepvalue 可以設定多個的，下面是 stepvalue的定義；
183 repeated int32 stepvalue = 34;lr = base_lr * (1 - iter/maxiter )^power
7.sigmoid形的：
學習率的作用,學習率衰減,函式
目錄 1.學習率的作用 2.學習率衰減常用引數有哪些 3.常見衰減函式 3.1分段常數衰減 3.2指數衰減 3.3自然指數衰減 3.4多項式衰減 3.5余弦衰減 梯度下降法是乙個廣泛被用來最小化模型誤差的引數優化演算法。梯度下降法通過多次迭代，並在每一步中最小化成本函式 cost 來估計模型的引數。...
學習率衰減的實現方法
optimizer sgd learning rate 0.2 for epoch in range 100 get loss change learning rate optimizer.learning rate 0.2 100 epoch 100 update weightslr schedu...
Caffe中的工具之Caffe
簡介 caffe的tools目錄下提供了乙個caffe.cpp，經過編譯工具的編譯會生成乙個命令列工具caffe。該工具提供的功能有 train,test,device query,time。訓練的方法 這裡先分析train的功能，也就是訓練。訓練既支援從零開始訓練，也支援在已有的模型基礎上進行fi...