神經網路的一些調參方法小結
1、網格搜尋法
網格搜尋就是將多個引數進行笛卡爾乘積後逐個試驗，很費時間。
sklearn庫有gridsearchcv函式，結合了交叉驗證，我還沒在神經網路上應用過。
2、逐個調參
用列舉的方法逐個引數調優，乙個引數取最佳值後固定住再進行下乙個引數調優，比網格搜尋快一些。不過可能有一些引數各自不是最佳值，但組合起來有更好的效果，這種方法就遺漏了這種情況。
以下方法摘自機器之心
3、隨機搜尋法
隨機搜尋首先為每類超引數定義乙個邊緣分布，通常取均勻分布，然後在這些引數上取樣進行搜尋。
隨機搜尋雖然有隨機因素導致搜尋結果可能特別差，但是也可能效果特別好。總體來說效率比網格搜尋更高，但是不保證一定能找到比較好的超引數。
**：random search for hyper-parameter optimization
4、貝葉斯優化
（之後整理）
關於神經網路的調參經驗技巧和調參順序
二 調參順序 三 一句總結 一 模型方面基本上都做得非常好了，因此真正需要調的引數其實並不多了，或者說調很多引數實際帶來的提公升都非常小了。二 在訓練乙個深度學習模型的過程中，超引數選擇什麼最優，這是乙個基於實驗和經驗的過程。需要不停的嘗試，直到找到合適的引數值。調參就是trial and erro...
卷積神經網路的調參技巧1
方法 一 更多的優化演算法 二 啟用函式 三 網路的初始化 四 批歸一化 五 資料增強 六 採用更多的調參技巧 1 隨機梯度下降 問題 1.區域性極值 2.鞍點saddle point問題 動量梯度下降可以在一定程度上緩解以上的問題 此外的問題是 1.受到學習率的影響 導致梯度 不收斂 2.每乙個維...
4 1 卷積神經網路調參 adagrad adam
我們之前將了隨機梯度下降和動量梯度下降，不過，還有很多其他的優化演算法可以使得模型穩定。先來回顧隨機梯度下降和動量梯度下降 隨機梯度下降有兩個問題 區域性極值問題和saddle point 問題，動量梯度下降可以一定程度上解決這兩個問題 因為他可以使用之前積累的梯度方向。不過這兩個方法還有其他的兩個...