常用的方法是通過對原始資料進行線性變換把資料對映到[0,1]之間，變換函式為：
不同變數往往量綱不同，歸一化可以消除量綱對最終結果的影響，使不同變數具有可比性。在不涉及距離度量、協方差計算、資料不符合正太分布的時候，可以使用歸一化方法。比如影象處理中，將rgb影象轉換為灰度影象後將其值限定在[0 255]的範圍。
（ transfroms.normalize）
常用的方法是z-score標準化，經過處理後的資料均值為0，標準差為1，公式是：
（batchnorm2d）
如果對輸出結果範圍有要求，用歸一化
如果資料較為穩定，不存在極端的最大最小值，用歸一化
如果資料存在異常值和較多噪音，用標準化，可以間接通過中心化避免異常值和極端值的影響
我們在對輸⼊資料做標準化處理：處理後的任意⼀個特徵在資料集中所有樣本上的均值為0、標準差為1。標準化處理輸⼊資料使各個特徵的分布相近：這往往更容易訓練出有效的模型。
通常來說，資料標準化預處理對於淺層模型就⾜夠有效了。隨著模型訓練的進⾏，當每層中引數更新時，靠近輸出層的輸出較難出現劇烈變化。但對深層神經⽹絡來說，即使輸⼊資料已做標準化，訓練中模型引數的更新依然很容易造成靠近輸出層輸出的劇烈變化。這種計算數值的不穩定性通常令我們難以訓練出有效的深度模型。
批量歸⼀化的提出正是為了應對深度模型訓練的挑戰。在模型訓練時，批量歸⼀化利⽤⼩批量上的均值和標準差，不斷調整神經⽹絡中間輸出，從⽽使整個神經⽹絡在各層的中間輸出的數值更穩定。
標準化與歸一化的區別？
答 簡單來說，標準化是依照特徵矩陣的列處理資料，其通過求z score的方法，將樣本的特徵值轉換到同一量綱下。歸一化是依照特徵矩陣的行處理資料，其目的在於樣本向量在點乘運算或其他核函式計算相似性時，擁有統一的標準，也就是說都轉化為 單位向量 歸一化 這種方法有個缺陷就是當有新資料加入時，可能導致ma...
歸一化與標準化
特點 對不同特徵維度的伸縮錶換的目的是使各個特徵維度對目標函式的影響權重是一致的，即使得那些扁平分布的資料伸縮變換成類圓形。這也就改變了原始資料的乙個分布。好處 1 提高迭代求解的收斂速度 2 提高迭代求解的精度 方法 1 min max標準化 也成為離差標準化，對原始資料的的線性變換，結果值對映到...
歸一化與標準化
1 提公升訓練的速度 2 提公升模型的精度 3 深度模型中能夠防止梯度 min max 歸一化 x x x min x max x min 將x 對映到 0,1 之間的乙個數 z score 標準化 均值為0 標準差為1 當有新的樣本加入時，min max 計算量小，z score 需要重新計算均值...