對於輸入的歸一化，存在兩種形式，一種是[0，1]標準化，另一種是零均值歸一化，神經網路中一般選擇第二種形式。這會使代價函式的會更圓一些，更容易優化。
歸一化需要兩個步驟：1.零均值 2.歸一化方差 最終使輸入特徵在[-1,1]的範圍內。
第一步是零均值化
第二步是歸一化方差:
這是節點的平方，σ2是乙個向量，它的每個特徵都有方差，注意，我們已經完成零值均化，(x(i))2元素y2就是方差，我們把所有資料除以向量σ2。
最終特徵會變為在相似範圍內，而不是從1到1000，0到1的範圍，而是在-1到1範圍內或相似偏差，這使代價函式會更圓一些，而且更容易優化。
注意：需要用相同的 μ 和 σ2來歸一化測試集，注意對y不做處理，只對輸入的特徵x進行歸一化。自己一開始有的疑惑是需不需要對y進行歸一化，其實沒有必要。
神經網路要做歸一化的原因
見到乙個有意思的討論，在此複述。無容置疑，歸一化的確可以避免一些不必要的數值問題。輸入變數的數量級未致於會引起數值問題，因為tansig的非線性區間大約在 1.7，1.7 意味著要使神經元有效，tansig w1x1 w2x2 b 裡的 w1x1 w2x2 b 數量級應該在 1 1.7所在的數量級 ...
BP神經網路（七） 正則化
正則化用來處理過擬合的問題，神經網路的過擬合現象一般都會遇到，解決辦法其中乙個是正則化，另乙個是準備更多的資料。第二種方法不可能的情況下，正則化可以有效解決過擬合。一般選擇l2正則化 對w進行處理，正則化的代價函式需要在後面加上正則項為 其中除l2正則化外，還存在dropout正則化，dropout...
BP神經網路基礎（一）
bp back propagation 神經網路是1986年由rumelhart和mcclelland為首的科學家提出的概念，是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。bp神經網路具有任意複雜的模式分類能力和優良的多維函式對映能力，解決了簡單感知器不能解決的異或 exclusive or，...