可以認為與網路中的可訓練引數成正比。
網路中的神經單元數越多，層數越多，神經網路的擬合能力越強。
但是訓練速度、難度越大，越容易產生過擬合。
所謂超引數，也就是搭建神經網路中，需要我們自己如選擇（不是通過梯度下降演算法去優化）的那些引數。比如，中間層的神經元個數、學習速率。
一種顯然的想法是增大網路容量：
1.增加層
2.增加隱藏神經元個數
單純的增加神經元個數對於網路效能的提高並不明顯,，增加層會大大提高網路的擬合能力，這也是為什麼現在深度學習的層越來越深的原因。
理想的模型是剛好在欠擬合和過擬合的界線上，也就是正好擬合資料。
然後，抑制過擬合：
dropout
正則化影象增強
再次，調節超引數：
學習速率，
隱藏層單元數
訓練輪次
超引數的選擇是乙個經驗與不斷測試的結果。
經典機器學習的方法，如特徵工程、增加訓練資料也要做交叉驗證。
深度學習網路優化與超引數選擇
過擬合 在訓練資料上得分很高，在測試資料上得分相對比較低 欠擬合 在訓練資料上得分很低，在測試資料上得分相對比較低 與網路中的可訓練引數成正比。網路中的神經單元數越多，層數越多，神經網路的擬合能力越強。但是訓練速度 難度越大，越容易產生過擬合。所謂超引數，也就是搭建神經網路中，需要我們自己如選擇 不...
引數與超引數
模型引數是模型內部的配置變數，可以用資料估計模型引數的值 模型超引數是模型外部的配置，必須手動設定引數的值。具體來講，模型引數有以下特徵 進行模型 時需要模型引數。模型引數值可以定義模型功能。模型引數用資料估計或資料學習得到。模型引數一般不由實踐者手動設定。模型引數通常作為學習模型的一部分儲存。通常...
引數與超引數
計算機學科裡有太多的術語，而且許多術語的使用並不一致。哪怕是相同的術語，不同學科的人理解一定有所不同。比如說 模型引數 model parameter 和 模型超引數 model hyperparameter 對於初學者來說，這些沒有明確定義的術語肯定很令人困惑。尤其是對於些來自統計學或經濟學領域的...