（1）多項式的例子
比如加1000θ3^2…
那麼為了使得下面這個加入懲罰項的式子min，就會盡量使得θ3.θ4趨近於0，這就相當於由擬合的右圖的式子高次冪，變成了擬合為二次式。
（2）housing 例子
一般來說，θ取盡量小的值，會使得假設函式更加簡單，也會更易避免過擬合。
上圖舉的例子多項式例子不同，我們並不知道θ1—θn誰是高階項，誰是相關度較低的，也就不知道該選出哪些引數來縮小他們的值。
因此我們只能修改代價函式，來縮小所有的θ，加入了θ的正則項。這一項的作用是縮小每個引數
一般來說，只對θ1—θn加正則項，θo不加。（約定俗成，即使加上θo也沒關係）
λ：正則化引數
λ的作用：控制兩個不同目標之間的取捨，控制兩個目標的平衡關係
目標1：通過訓練更好的擬合資料
目標2：保持引數盡可能的小
λ太大：對於θ的懲罰程度太大，這個θ的值接近於0，相當於忽略了假設函式的所有項，最後只剩下乙個θo，相當於用了個橫線擬合資料，欠擬合。
吳恩達機器學習筆記（4 正則化）
到目前為止，我們已經學習了兩個演算法，包括線性回歸和邏輯回歸。在實際問題中，有可能會遇到過擬合問題，它會導致效果很差。這一節，我們介紹一下什麼是過擬合，以及解決過擬合問題的方法，正則化。過擬合 如果我們有非常多的特徵，我們通過學習得到的假設可能能夠非常好地適應訓練集 代 價函式可能幾乎為 0 但是可...
吳恩達機器學習（正則化）
圖1 是乙個線性模型，欠擬合或者叫做高偏差，不能很好地適應我們的訓練集 我們看看這些資料，很明顯，隨著房子面積增大，住房 的變化趨於穩定或者說越往右越平緩。因此線性回歸並沒有很好擬合訓練資料。圖2 恰當合適的擬合了資料 圖3 完美的擬合了訓練資料，稱之為過擬合或者叫做高方差，過於強調擬合原始資料，而...
吳恩達機器學習 學習筆記（過擬合 正則化）
1 underfitting 欠擬合 如果我們的假設函式是乙個一次函式，我們可能最後得到的是這樣的一條直線，很容易看出它的擬合效果不是很好，這種情況我們稱之為欠擬合。2 just right 擬合的很好 3 overfittiing 過擬合 如果我們給假設函式加入很多的高階項，最後得到的曲線會想盡一...