歸一化 標準化和正則化的關係

2021-08-04 18:16:43 字數 1126 閱讀 4221

歸一化(normalization)

1.把資料變為(0,1)之間的小數。主要是為了方便資料處理,因為將資料對映到0~1範圍之內,可以使處理過程更加便捷、快速。

2.把有量綱表示式變換為無量綱表示式,成為純量。經過歸一化處理的資料,處於同一數量級,可以消除指標之間的量綱和量綱單位的影響,提高不同資料指標之間的可比性。

主要演算法:

1.線性轉換,即min-max歸一化(常用方法)

y=(x-min)/(max-min)

2. 對數函式轉換

y=log10(x)

3.反餘切函式轉換

y=atan(x)*2/pi

標準化(standardization)

資料的標準化是將資料按比例縮放,使之落入乙個小的特定區間。

主要方法:

1.z-score標準化,即零-均值標準化(常用方法)

y=(x-μ)/σ

是一種統計的處理,基於正態分佈的假設,將資料變換為均值為0、標準差為1的標準正態分佈。但即使資料不服從正態分佈,也可以用此法。特別適用於資料的最大值和最小值未知,或存在孤立點。

2.小數定標標準化

y=x/10^j  (j確保max(|y|)<1)

通過移動x的小數字置進行標準化

3.對數logistic模式

y=1/(1+e^(-x))

正則化(regularization)

用一組與原不適定問題相「鄰近」的適定問題的解,去逼近原問題的解,這種方法稱為正則化方法。如何建立有效的正則化方法是反問題領域中不適定問題研究的重要內容。通常的正則化方法有基於變分原理的tikhonov 正則化、各種迭代方法以及其它的一些改進方法。

總的來說,歸一化是為了消除不同資料之間的量綱,方便資料比較和共同處理,比如在神經網路中,歸一化可以加快訓練網路的收斂性;標準化是為了方便資料的下一步處理,而進行的資料縮放等變換,並不是為了方便與其他資料一同處理或比較,比如資料經過零-均值標準化後,更利於使用標準正態分佈的性質,進行處理;正則化而是利用先驗知識,在處理過程中引入正則化因子(regulator),增加引導約束的作用,比如在邏輯回歸中使用正則化,可有效降低過擬合的現象。

歸一化 標準化和正則化的關係

歸一化 normalization 1.把資料變為 0,1 之間的小數。主要是為了方便資料處理,因為將資料對映到0 1範圍之內,可以使處理過程更加便捷 快速。2.把有量綱表示式變換為無量綱表示式,成為純量。經過歸一化處理的資料,處於同一數量級,可以消除指標之間的量綱和量綱單位的影響,提高不同資料指標...

歸一化 標準化和正則化的關係

歸一化 normalization 1.把資料變為 0,1 之間的小數。主要是為了方便資料處理,因為將資料對映到0 1範圍之內,可以使處理過程更加便捷 快速。2.把有量綱表示式變換為無量綱表示式,成為純量。經過歸一化處理的資料,處於同一數量級,可以消除指標之間的量綱和量綱單位的影響,提高不同資料指標...

歸一化 標準化和正則化

歸一化一般是將資料對映到指定的範圍,用於去除不同維度資料的量綱以及量綱單位。常見的對映範圍有 0,1 和 1,1 最常見的歸一化方法就是 min max 歸一化 舉個例子,我們判斷乙個人的身體狀況是否健康,那麼我們會採集人體的很多指標,比如說 身高 體重 紅細胞數量 白細胞數量等。乙個人身高 180...