目錄
一、深度網路訓練的問題
二、資料標準化的幾種方法：
1.標準化：
2.歸一化：
3.白化：
總所周知，深度網路訓練會遇到兩個大問題：梯度消失和梯度**。
假設網路沒有使用非線性函式，不考慮偏置b，設每層網路層輸入為x(k−1)∈rnk−1×1
x(k−1)∈rnk−1×1，引數是w(k)∈rnk×nk−1w(k)∈rnk×nk−1，輸出為x(k)∈rnk×1
x(k)∈rnk×1，每一層網路層的操作是
x(k)=w(k)x(k−1)=w(k)w(k−1)x(k−2)=w(k)w(k−1)⋯w(1)x(0)
x(k)=w(k)x(k−1)=w(k)w(k−1)x(k−2)=w(k)w(k−1)⋯w(1)x(0)
梯度消失
假設w=(0.5000.5)
w=(0.5000.5)，即
x(k)=wkx(0)=(0.5k000.5k)x(0)
x(k)=wkx(0)=(0.5k000.5k)x(0)
隨著k的增大，x的值越來越小，從而梯度呈指數級別下降，接近於0，這會導致梯度下降引數更新的非常緩慢，降低收斂速度。
梯度**
假設w=(1.5001.5)
w=(1.5001.5)，即
x(k)=wkx(0)=(1.5k001.5k)x(0)
x(k)=wkx(0)=(1.5k001.5k)x(0)
隨著k的增大，x的值越來越大，從而梯度呈指數級別上公升，甚至超出資料型別能夠表達的最大的值，這會導致梯度下降引數變化範圍很大，影響模型收斂。
因為梯度消失和梯度**問題，我們在訓練網路時都要小心翼翼地設定引數，
使用非線性啟用函式可以限制輸出值x的取值範圍，在一定程度上消除梯度消失和梯度**的影響。
internal covariate shift：當深度網路淺層網路引數的發生細微變化，這種變化結果網路傳輸到深層網路，導致網路層輸出資料發生很大的變化，從而網路層引數要發生很大的變動以適應輸入資料的變化，這種深度網路中在訓練過程中內部節點的資料分布變化的現象，稱為internal covariate shift。
為了消除梯度消失、梯度**和internal covariate shift的影響，受機器學習對樣本進行歸一化的啟發，目前已經提出了許多深度學習的標準化操作，比如batch normalization、synchronized batch normalization、group normalizaiton等。
資料標準化是指資料的各維度減均值除以標準差，這是最常用的標準化方法。
公式：(xi−μ)/σ 其中μ指的是樣本的均值，σ指的是樣本的標準差。
資料歸一化是指資料減去對應維度的最小值除以維度最大值減去維度最小值，這樣做可以將數值壓縮到[0,1]的區間。
公式：(xi−min(x))/(max(x)−min(x))
白化的目的是去除輸入資料的冗餘資訊。
白化演算法的實現過程：第一步操作是pca，求出新特徵空間中的新座標，第二步是對新的座標進行方差歸一化操作。
pca預處理：
左圖表示原始資料x，然後我們通過協方差矩陣可以求得特徵向量u1、u2，然後把每個資料點，投影到這兩個新的特徵向量（這兩個特徵向量是不變且正交的），得到進行座標如下：
這就是pca處理。
pca白化
pca白化是指對上面的pca的新座標x』,每一維的特徵做乙個標準差歸一化處理。
從上面我們看到在新的座標空間中，(x1,x2)兩個座標軸方向的資料明顯標準差不同，因此我們接著要對新的每一維座標做乙個標註差歸一化處理。
二、
深度學習訓練技巧 資料標準化 歸一化 白化操作
資料標準化的幾種方法 1.標準化 資料標準化是指資料的各維度減均值除以標準差，這是最常用的標準化方法。公式 xi xi 其中 指的是樣本的均值，指的是樣本的標準差。xi 2.歸一化 xi 資料歸一化是指資料減去對應維度的最小值除以維度最大值減去維度最小值，這樣做可以將數值壓縮到 0,1 的區間。xi...
資料標準化（歸一化）
資料標準化 歸一化 處理是資料探勘的一項基礎工作，不同評價指標往往具有不同的量綱和量綱單位，這樣的情況會影響到資料分析的結果，為了消除指標之間的量綱影響，需要進行資料標準化處理，以解決資料指標之間的可比性。原始資料經過資料標準化處理後，各指標處於同一數量級，適合進行綜合對比評價。以下是兩種常用的歸一...
資料標準化 歸一化
資料標準化 歸一化 處理是資料探勘的一項基礎工作，不同評價指標往往具有不同的量綱和量綱單位，這樣的情況會影響到資料分析的結果，為了消除指標之間的量綱影響，需要進行資料標準化處理，以解決資料指標之間的可比性。原始資料經過資料標準化處理後，各指標處於同一數量級，適合進行綜合對比評價。以下是兩種常用的歸一...