這裡引用吳恩達教授在課程中的截圖。
一、 w，b分布
我們首先分析一下為什麼非歸一化的的cost呈現這種分布。
對於乙個沒有歸一化的資料，x和y可能呈現很大的數量級差距，如果x相較於y非常大的話，改變w對z的影響將會相對b來說非常大。
舉個例子，如果y在0,1之間，而x在100000以上，在梯度下降的過程中，w將會變化極小，因為稍微變化百分之一，都可能造成cost變化非常大。
二、 梯度下降
我們再分析一下，梯度下降的過程會發生什麼。對於第乙個圖，如果我們在圖中標識的起始點，我們的梯度並沒有指向最優點。所以在梯度下降的過程中，迭代結果可能並不是有效的，甚至變得更加糟糕。
而相反，我們從第二圖中可以看出，在圓中的任意一點，我們的梯度下降的方向均是指向最優解，這讓我們的迭代變得更加高效。
以上是歸一化加速訓練的原因。
歸一化的本質原因
資料歸一化 或者標準化，注意歸一化和標準化不同 的原因 要強調 能不歸一化最好不歸一化，之所以進行資料歸一化是因為各維度的量綱不相同。而且需要看情況進行歸一化。有些模型在各維度進行了不均勻的伸縮後，最優解與原來不等價 如svm 需要歸一化。有些模型伸縮有與原來等價，如 lr則不用歸一化，但是實際中往...
資料進行歸一化原因
為什麼要進行歸一化處理，下面從尋找最優解這個角度給出自己的看法。例子假定為 房價的例子，自變數為面積，房間數兩個，因變數為房價。那麼可以得到的公式為 公式 其中 公式 代表房間數，公式 代表 公式 變數前面的係數。其中 公式 代表面積，公式 代表 公式 變數前面的係數。首先我們祭出兩張圖代表資料是否...
神經網路要做歸一化的原因
見到乙個有意思的討論，在此複述。無容置疑，歸一化的確可以避免一些不必要的數值問題。輸入變數的數量級未致於會引起數值問題，因為tansig的非線性區間大約在 1.7，1.7 意味著要使神經元有效，tansig w1x1 w2x2 b 裡的 w1x1 w2x2 b 數量級應該在 1 1.7所在的數量級 ...