注：本文為學習筆記，描述與截圖多來自課件和百科，學習**為：
我們的**模型可能會出現如下三種情況：
第一種情況：如第乙個圖形所示，**模型為直線，即
第二種情況：如第二個圖形所示，新增了乙個特徵變數x2，這時
第三種情況：如第三個圖形所示，新增了多個特徵變數，一共有5階多項式
左邊的圖顯示了乙個擬合不足的例項（其中資料清楚地顯示了模型未捕獲的結構），而右邊的圖則是過度擬合的示例。
擬合不足或高偏差是指假設函式h的形式無法很好地對映到資料趨勢的情況。 這通常是由於特徵變數太簡單或使用的特徵變數太少所致。 在另乙個極端，過度擬合或高方差是由假設函式引起的，該函式擬合可用資料，但不能很好地泛化以**新資料。 它通常是由複雜的函式引起的，該函式會建立許多與資料無關的不必要的曲線和角度。
1）減少特徵變數的數量：
手動選擇要保留的功能。
使用模型選擇演算法（在本課程的後面進行研究）。
2）正則化
保留所有功能，但減小引數\theta_j的大小。
保留所有特徵變數，使用正則化。
如果在假設函式過度擬合，則可以通過增加其成本來減少函式中某些引數的權重。比如對於如下函式：
如果想要消除
在末尾新增了額外的引數,現在為了使成本趨近於0，
我們還可以將所有的
λ是正則化引數。 它確定了我們theta引數的成本被誇大了多少。
通過將上述成本函式與額外的總和結合使用，函式的影象趨於平滑，減少了過度擬合。 如果選擇的λ太大，則可能會使功能過於平滑，從而導致擬合不足。
我們可以將正則化應用於線性回歸和邏輯回歸，我們將首先進行線性回歸。
修改梯度下降函式，但
也可表示為：
修改在正規方程的表示式後如下所示：
l是乙個矩陣，左上角為0，對角線下為1，其他任何地方均為0。 它的尺寸應為（n + 1）×（n + 1）。
之前提過當m我們可以以與線性回歸相同的方式來正規化邏輯回歸以避免過度擬合。 如下圖所示，粉紅色線條顯示的正則函式，藍色線條表示的非正則函式。
原始代價函式如下：
修改後則為：
第二項的
梯度下降函式將表示為如下所示：
吳恩達機器學習 學習筆記（過擬合 正則化）
1 underfitting 欠擬合 如果我們的假設函式是乙個一次函式，我們可能最後得到的是這樣的一條直線，很容易看出它的擬合效果不是很好，這種情況我們稱之為欠擬合。2 just right 擬合的很好 3 overfittiing 過擬合 如果我們給假設函式加入很多的高階項，最後得到的曲線會想盡一...
神經網路與深度學習 筆記5 過度擬合和正則化
1.過擬合 訓練資料集上的代價表現是越來越好的，測試集上的代價越來越差。訓練資料上的分類準確率一直在提公升接近 100 而測試準確率僅僅能夠達到 82.27 網路幾乎是在單純記憶訓練集合,而沒有對數字本質進行理解能夠泛化到測試資料集上。避免過擬合的方法 early stopping，l1 l2正則化...
機器學習2 過擬合和正則化
1 過擬合和欠擬合 1 泛化 機器學習模型學習到的概念在新輸入樣本上的表現 2 擬合 用逼近目標函式的遠近程度來描述擬合的好壞。過擬合 指某個模型過度學習了訓練資料中的細節和雜訊，以致模型在新的資料上表現很差。過擬合更可能在無引數非線性模型中發生，如決策樹。欠擬合 指某個模型在訓練和 時表現都不好，...