在構建完成神經網路後，我們會對資料進行處理，使得演算法在合理的時間進行訓練。但是如何在驗證和訓練資料集的過程中做出決策，以及訓練過程中的偏差和方差，和如何處理這些問題而出現的正則化處理。
1、訓練 / 開發 / 測試集
2、偏差和方差
3、正則化
d w[
l]=反
向傳播的
計算結果
+djd
w[l]
dw^[l] = 反向傳播的計算結果+ \frac}
dw[l]=
反向傳播
的計算結
果+dw
[l]d
jw [l
]=w[
l]−a
（dw[
l]+λ
2m∣∣
w[l]
∣∣f2
）w^ = w^ - a（dw^ + \frac||w^||_f^2）
w[l]=w
[l]−
a（dw
[l]+
2mλ
∣∣w[
l]∣∣
f2）
增加了乙個正則項，從而較少這個引數的權重，，這就是l2有時候也被稱為權重衰減的原因。
望您：
「情深不壽，強極則辱，謙謙君子，溫潤如玉」。
i ↩︎
機器學習 診斷偏差和方差
如果乙個機器學習演算法表現不理想，要麼是欠擬合，要麼是過擬合。越高次方越能代表我們的訓練集，但能適應訓練集並不代表能推廣至一般情況。高偏差 訓練誤差很大，訓練誤差與測試誤差很小，隨著樣本增多，訓練誤差增大。高方差 訓練誤差很小，訓練誤差與測試誤差差距很大，隨著樣本增多，測試誤差會減小。訓練集誤差和交...
機器學習中的偏差和方差
數學解釋 偏差 描述的是 值 估計值 的期望與真實值之間的差距。偏差越大，越偏離真實資料，如下圖第二行所示。方差 描述的是 值的變化範圍，離散程度，也就是離其期望值的距離。方差越大，資料的分布越分散，如下圖右列所示。機器學習中的偏差和方差 首先，假設你知道訓練集和測試集的關係。簡單來講是我們要在訓練...
機器學習中的偏差和方差
機器學習中誤差的 主要有兩個方面 bias 偏差 和variance 方差 只有找到誤差的 才能為下一步的模型優化提供方向。這裡以估計隨機變數 x 的均值和方差為例，進行分析。假設，對於隨機變數 x 1.1 首先考慮均值 我們在總體中取出 n 個樣本 對隨機變數 x 的均值作估計 m 1n xn f...