2023年的**《batch normalization: accelerating deep network training by reducing internal covariate shift》
思想：給每層神經網路的輸出做乙個歸一化，將資料變為乙個高斯分布。
為增加模型的表達能力，每個神經元都要以自訓練方式調整scale和shift兩個引數。
可以增加訓練速度，防止過擬合：如果沒有歸一化，每一層訓練後的資料分布都不同，網路需要更大的開銷去學習新的分布，造成網路模型更加複雜，因此容易發生過擬合，網路收斂也比較慢。
可以避免啟用函式進入非線性飽和區，從而造成梯度瀰散問題由於因為bn具有提高網路泛化能力的特性，可以減少了你可以移除dropout比例和正則化引數，這樣減少繁瑣的調參。
可以省lrn區域性歸一化層。
批量歸一化
批量歸一化實際上也是乙個層，可以直接呼叫torch的api。我們在訓練頂部的層，實際上幹的就是在擬合底部層。所以頂部的層會收斂的很快，但是底部的層資料變化後，頂部又要重新進行訓練。乙個簡單的實現就是將分布的均值和方差進行固定。這個實現也很簡單。mu frac sum x text sigma fra...
演算法歸一化總結
資料標準化分為三種 標準化 線性歸一化 非線性歸一化。歸一化的作用有兩個 第一，加快運算速度。第二，提高計算精度。一般來說，概率樹結構的演算法不需要進行資料歸一化處理。尋找最優化問題的演算法需要進行資料歸一化處理。下面總結一下常見的演算法哪些需要進行資料歸一化，哪些不需要。需要不需要 lr 線性回歸...
演算法提高 複數歸一化
演算法提高 複數歸一化 時間限制 1.0s 記憶體限制 512.0mb 編寫函式normalize，將複數歸一化，即若複數為a bi，歸一化結果為a sqrt a a b b i b sqrt a a b b 使用結構體指標型別作為函式引數可能是必要的。其中實部和虛部由鍵盤輸入，輸出為歸一化結果，如...