當發生過擬合時，我們有兩種方法：
（1）儘量減少選取變數的數量
（2）正則化（保留所有的特徵變數，減少特徵變數的數量級）
本篇博文分析正則化方法降低過擬合的原理和方法。
讓我們在原本的代價函式中新增兩項：
現在，如果我們要最小化這個函式，我們會盡量讓
θ3~0，
θ4~0，這就相當於將下面右圖中產生較大過擬合影響的後兩項變數刪掉。這樣我們最終也得到一條恰當的擬合曲線。
從上面的分析可以看出，如果我們的引數值較小的話，我們就會得到乙個
更為簡單的假設。
上例中，我們將θ3~0，
θ4~0，就是懲罰這兩個引數，讓他們變小，但是實際中，我們並不知道需要將哪些引數縮小，所以正則化的思路就是
給所有的引數都加上懲罰
，形成新的代價函式：
現在我們就會使θ1，θ2，θ3，……θn都減少，按照慣例我們從θ1開始，不去懲罰θ0，實際產生的結果是：包不包括θ0這一項，結果的差異非常小。
上式中，我們新加入的項叫做
正則項，
λ叫做正則化引數。
對於新的代價函式，我們有兩個目標:
（1）我們希望更好的擬合訓練集
（2）我們希望讓引數較小
其中，λ的作用就是保持這兩個目標之間的平衡。
如果λ過大，將對很大的懲罰引數值，會使所有的引數值都接近於0，最終得到一條近似的水平線。 如果
λ過小，則不能很好的阻止過擬合。
有很多方法是可以自動選擇
λ值的，這就是高度正則化的思路。
過擬合 欠擬合 正則化
產生原因 緩解方法 合適的資料分布 合理的模型複雜性 合理的組合應該是 複雜的資料分布 簡單的模型 或者 簡單的資料分布 複雜的模型 神經網路中的過擬合 原理 或者說思考 從貝葉斯的角度來說，代價函式可以表示為p y w,x 的形式，而正則項則是對引數w做了乙個先驗分布的假設，使得代價函式變成p y...
過擬合與正則化
機器學習中經常遇到所謂的過擬合 overfitting 問題。所謂的過擬合問題,是指某個模型在訓練資料上能夠獲得比其他模型更好的擬合，但是在訓練資料外的資料集上卻不能很好的擬合。其本質是，模型對於隨機錯誤或者雜訊的刻畫超過其對於真實資訊的刻畫。而出現這種現象的主要原因是訓練資料中存在噪音或者訓練資料...
正則化防止過擬合
在之前的線性回歸就有提到正則化，下面就來更具體地介紹正則化。1.正則化的作用 當訓練資料比較少時，或模型訓練過度時，常常會導致過擬合。正則化主要作用就是通過減小模型的複雜度來防止過擬合，提高泛化能力。為了更好的了解過擬合以及為後面做鋪墊，還是先看乙個吳恩達機器學習系列課程中乙個線性回歸來 房價的例子...