andrew ng機器學習課程筆記（三）之正則化
前言
學習了andrew ng課程，開始寫了一些筆記，現在寫完第5章了，先把這5章的內容放在部落格中，後面的內容會陸續更新！
這篇部落格主要記錄andrew ng課程第三章正則化，主要介紹了線性回歸和邏輯回歸中，怎樣去解決欠擬合和過擬合的問題
簡要介紹：在進行線性回歸或邏輯回歸時，常常會出現以下三種情況
回歸問題：
第乙個模型是乙個線性模型，欠擬合，不能很好地適應我們的訓練中；第三個模型是乙個四次方的模型，過於強調擬合原始資料，而丟失了演算法的本質：**新資料。我們可以看出， 若給出乙個新的值使之**，它將表現的很差，是過擬合，雖然能非常好地適應我們的訓練集但在新輸入變數進行**時可能會效果不好；而中間的模型似乎最合適。
分類問題也一樣：
問題來了，那麼解決方案也出現了，那就是正則化。
上面出現的過擬合是因為那些高次項導致了它們的產生，所以如果我們能讓這些高次項的係數接近於0的話，我們就能很好的擬合了。
試想一下，將上面的代價函式改動如下，增加了關於和兩項
這樣做的話，我們在嘗試最小化代價時也需要將這個表示式納入考慮中，並最終導致選擇較小一些的θ3和θ4，那樣就從過擬合過渡到擬合狀態。
經過正則化處理的模型與原模型的可能對比如下圖所示：
（1）基於梯度下降
正則化線性回歸的代價函式為：
如果我們要使用梯度下降法令這個代價函式最小化，因為我們未對θ0進行正則化，所以梯度下降演算法將分兩種情形：
轉換一下，可以寫為
可見，正則化線性回歸的梯度下降演算法的變化在於，每次都在原有演算法更新規則的基礎上令θ值減少了乙個額外的值。
（2） 正規方程
相應的代價函式：
梯度下降演算法：
雖然正則化的邏輯回歸中的梯度下降和正則化的線性回歸中的表示式看起來一樣，但由於兩者的h(x)不同所以還是有很大差別。
Andrew Ng 機器學習 課程介紹
本課程是由斯坦福機器學習大牛andrew ng主講的，對我這樣的菜鳥很有用，可以作為機器學習入門的一門課程。課程 課程完全免費，每年會開幾次課，只要註冊成為coursera使用者，找到machine learning課程就可以跟著課程節奏學習，跟在學校學習一樣一樣的，每節課有對應的作業和程式設計實驗...
Andrew NG 機器學習課程筆記（一）
機器學習的動機與應用 題記 之前看過andrew ng 的機器學習課程，但沒有系統的整理與歸納，現在感覺有些東西遺忘了，於是準備每天花一些時間重溫一下同時爭取每天整理一節課的筆記，由於很多內容是自己理解或者在網上尋找各種資料得出的結論，難免有不足之處，還望讀者指正。今天是母親節，祝天下的媽媽們節日快...
Andrew NG機器學習課程筆記（六）
支援向量機 1 1.這一節andrew老師回顧了上一節的樸素貝葉斯，然後提了下神經網路，接著就是重頭戲支援向量機了。支援向量機是一種二分類模型，他的基本模型時定義在特徵空間上的間隔最大的線性分類器，間隔最大使他有別於感知機，支援向量機還包括核技巧，這使他成為實質上的非線性分類器。支援向量機的學習策略...