訓練集表現良好，測試集表現差。魯棒性差。以下是兩個例子（乙個是回歸問題，乙個是分類問題）
解決辦法：
（1）丟棄一些不能幫助我們正確**的特徵。可以使用工選擇保留哪些特徵，或者使用一些模型選擇的演算法來幫忙（pca）；
（2）正則化。保留素有的特徵，但是減少引數的大小。
其中λ稱為正則化引數。
經過正則化處理的模型和原模型的可能對比如如下：
不對θ0正則化。
對於j=1,2,3……有：
可以看出，正則化線性回歸的梯度下降法的變化在於，每次都會在原有演算法的更新規則的基礎上令θ值減少了乙個額外的值。
吳恩達機器學習（正則化）
圖1 是乙個線性模型，欠擬合或者叫做高偏差，不能很好地適應我們的訓練集 我們看看這些資料，很明顯，隨著房子面積增大，住房 的變化趨於穩定或者說越往右越平緩。因此線性回歸並沒有很好擬合訓練資料。圖2 恰當合適的擬合了資料 圖3 完美的擬合了訓練資料，稱之為過擬合或者叫做高方差，過於強調擬合原始資料，而...
吳恩達《機器學習》課程總結 19 總結
線性回歸 下面第三行x0 i 其實是1，可以去掉 邏輯回歸 神經網路 寫出前向傳播即可，反向框架會自動計算 pca訓練誤差減去人類最高水平為偏差 欠擬合 交叉驗證集誤差減訓練誤差為方差 過擬合 正則化解決方差問題，不對 0正則化 全過程觀測偏差與方差，所以更全面。找到哪種原因造成誤差最大，最該花時間...
吳恩達《機器學習》課程總結（19）總結
線性回歸 下面第三行x0 i 其實是1，可以去掉 邏輯回歸 神經網路 寫出前向傳播即可，反向框架會自動計算 pca訓練誤差減去人類最高水平為偏差 欠擬合 交叉驗證集誤差減訓練誤差為方差 過擬合 正則化解決方差問題，不對 0正則化 全過程觀測偏差與方差，所以更全面。找到哪種原因造成誤差最大，最該花時間...