機器學習的乙個核心問題是設計不僅在訓練資料上表現好，而且能在新輸入上的泛化能力好的演算法。在機器學習中，許多策略被顯式的設計來減少測試誤差。這些策略統稱為正則化。
在深度學習場景中我們幾乎總是發現最好的擬合模型（從最小化泛化誤差的意義上）是乙個適當正則化的大型模型。下面來介紹幾種策略，以建立這些正則化的大型深度模型。
需要說明的是：在神經網路中，我們通常只對權重做懲罰而不對偏置做懲罰。因為每個權重會指定兩個變數如何作用，而偏置只會控制乙個單變數，因而我們不對偏置進行正則化方差也不會特別大，此外對正則化偏置可能會導致明顯的欠擬合。
bagging和dropout的區別：在bagging的情況下，每乙個模型在其相應的訓練集上都訓練到收斂；在dropout的情況下，通常大部分模型都沒有顯式地被訓練，因為父神經網路會很大，取而代之的是，在單個步驟中訓練一小部分的網路，由於引數共享所以會使得剩餘的子網路也能有很好的引數設定。
深度學習正則化方法總結
機器學習模型為了提高模型的泛化效能 減少過擬合，通常都會採用一些正則化方法來控制模型的複雜度。深度學習模型比普通的機器學習模型更複雜，更容易過擬合，因此更需要進行正則化處理，本文總結下深度學習常用的14種正則化方法，提供一些參考。1 對權重引數增加l1 l2正則項 l1正則化主要是對損失函式增加權重...
深度學習中的正則化
任何可以使學習演算法有降低泛化誤差意向的改動都是正則化。乙個有效的正則化就是能顯著地降低方差而不過度增加偏差。最好的擬合模型總是乙個適當正則化的大型模型！資料增強是一種便宜且簡單的方法來增加你訓練資料的數量的方法。上面資料增強已經提到，向輸入中注入方差極小的雜訊等價於對權重施加範數懲罰，一般情況下，...
深度學習中的正則化 一
一般來說，深度學習所要做的事情是用已有的訓練集訓練乙個網路模型，然後針對新的資料給出 我們期望我們的模型在訓練集和測試集上都有良好的表現，但是有的時候兩者不可兼得。一種情況是在訓練集上表現很好，在測試集上表現不好或表現一般 另一種情況是在訓練集上表現不好或表現一般，在測試集上表現很好。相比較而言我們...