資料歸一化（或者標準化，注意歸一化和標準化不同）的原因
要強調：能不歸一化最好不歸一化，之所以進行資料歸一化是因為各維度的量綱不相同。而且需要看情況進行歸一化。
有些模型在各維度進行了不均勻的伸縮後，最優解與原來不等價（如svm）需要歸一化。
有些模型伸縮有與原來等價，如：lr則不用歸一化，但是實際中往往通過迭代求解模型引數，如果目標函式太扁（想象一下很扁的高斯模型）迭代演算法會發生不收斂的情況，所以最壞進行資料歸一化。
補充：其實本質是由於loss函式不同造成的，svm用了尤拉距離，如果乙個特徵很大就會把其他的維度dominated。而lr可以通過權重調整使得損失函式不變。
資料進行歸一化原因
為什麼要進行歸一化處理，下面從尋找最優解這個角度給出自己的看法。例子假定為 房價的例子，自變數為面積，房間數兩個，因變數為房價。那麼可以得到的公式為 公式 其中 公式 代表房間數，公式 代表 公式 變數前面的係數。其中 公式 代表面積，公式 代表 公式 變數前面的係數。首先我們祭出兩張圖代表資料是否...
歸一化能夠加速訓練的原因
這裡引用吳恩達教授在課程中的截圖。一 w，b分布 我們首先分析一下為什麼非歸一化的的cost呈現這種分布。對於乙個沒有歸一化的資料，x和y可能呈現很大的數量級差距，如果x相較於y非常大的話，改變w對z的影響將會相對b來說非常大。舉個例子，如果y在0,1之間，而x在100000以上，在梯度下降的過程中...
神經網路要做歸一化的原因
見到乙個有意思的討論，在此複述。無容置疑，歸一化的確可以避免一些不必要的數值問題。輸入變數的數量級未致於會引起數值問題，因為tansig的非線性區間大約在 1.7，1.7 意味著要使神經元有效，tansig w1x1 w2x2 b 裡的 w1x1 w2x2 b 數量級應該在 1 1.7所在的數量級 ...