神經網路學習過程本質就是為了學習資料分布，一旦訓練資料與測試資料的分布不同，那麼網路的泛化能力也大大降低；另外一方面，一旦每批訓練資料的分布各不相同(batch 梯度下降)，那麼網路就要在每次迭代都去學習適應不同的分布，這樣將會大大降低網路的訓練速度，這也正是為什麼我們需要對資料都要做乙個歸一化預處理的原因。基於引數的模型或基於距離的模型，都是要進行特徵的歸一化。
2.標準差標準化，也叫z-score標準化(zero-mean normalization)
四.處理哪些問題時需要對資料進行標準化
資料的標準化（normalization）是將資料按比例縮放，使之落入乙個小的特定區間。在某些比較和評價的指標處理中經常會用到，去除資料的單位限制，將其轉化為無量綱的純數值，便於不同單位或量級的指標能夠進行比較和加權。
其中最典型的就是資料的歸一化處理，即將資料統一對映到[0,1]區間上。
資料的量綱不同；數量級差別很大
經過標準化處理後，原始資料轉化為無量綱化指標測評值，各指標值處於同一數量級別，可進行綜合測評分析。
如果直接用原始指標值進行分析，就會突出數值較高的指標在綜合分析中的作用，相對削弱數值水平較低指標的作用。
避免數值問題：太大的數會引發數值問題。
提公升模型的精度
例如:x1的取值為0-2000，而x2的取值為1-5，提高精度，這在涉及到一些距離計算的演算法時效果顯著，比如演算法要計算歐氏距離，x2的取值範圍比較小，涉及到距離計算時其對結果的影響遠比x1帶來的小，所以這就會造成精度的損失。所以歸一化很有必要，他可以讓各個特徵對結果做出的貢獻相同。
一些模型求解的需要：加快了梯度下降求最優解的速度
例如:x1的取值為0-2000，而x2的取值為1-5，假如只有這兩個特徵，對其進行優化時，會得到乙個窄長的橢圓形，導致在梯度下降時，梯度的方向為垂直等高線的方向而走之字形路線，這樣會使迭代很慢，相比之下，歸一化後的迭代就會很快。
通過對資料的每乙個維度的值進行重新調節，使得最終的資料向量落在[0,1]區間內
其中max為樣本資料的最大值，min為樣本資料的最小值。
def normalization(x):
return [(float(i)-min(x))/float(max(x)-min(x)) for i in x]
如果想要將資料對映到[-1,1]，則將公式換成：
x* = (x - x_mean)/(x_max - x_min), x_mean表示資料的均值。
def normalization2(x):
return [(float(i)-np.mean(x))/(max(x)-min(x)) for i in x]
x* = (x - μ ) / σ
其中μ為所有樣本資料的均值，σ為所有樣本資料的標準差。
分類（如k-nearest neighbors演算法）
聚類（如k-means演算法）
使用距離（如歐幾里得距離）來判定樣本之間的相似度的分類和聚類問題，都要進行資料規範化。
支援向量機svm，邏輯回歸, perceptron, neural networks etc.
上面這些問題使用梯度優化來獲得最優解。比如支援向量機使用梯度優化得到將樣本資料分開的最優超平面。
主成分分析
總之，涉及到距離、協方差（比如pca本質涉及協方差計算）、梯度計算的問題要進行標準化。
距離、協方差，是因為要使各特徵貢獻一致所以使用標準化
梯度計算，是因為如果不標準化，模型的收斂會很慢或者不會收斂到最優解。
特徵歸一化
我們在衡量一些事物時，我們總是不能同等程度的看待各個特徵，無法對這個事物做出準確的衡量，即我們沒有將各個特徵量化到統一的區間。為了解決這樣的問題，我們引出了特徵歸一化 目錄 特徵歸一化的概念 特徵歸一化必要性 資料標準化的意義 資料標準化的方法 資料的標準化 normalization 是將資料按比...
矩陣歸一化的好處
最近在看yang大牛稀疏表示 的 發現裡面很多的操作的用到了矩陣的列歸一化，這裡談一談列歸一化的實現，以及其帶來的好處。矩陣的列歸一化，就是將矩陣每一列的值，除以每一列所有元素平方和的絕對值，這樣做的結果就是，矩陣每一列元素的平方和為1了。舉個例子，矩陣 1,2,3 將其歸一化的結果就是 0.267...
特徵工程 特徵歸一化
為了消除資料特徵之間的量綱影響，需要對特徵進行歸一化 normalization 處理，使得不同特徵處於同乙個數量級，具有可比性 2.1 線性函式歸一化 min max scaling 對原始資料進行線性變換，使結果對映到 0,1 的範圍內，實現對原始資料的等比縮放。歸一化公式 其中，x為原始資料，...