例1：線性回歸問題
第乙個模型是乙個線性模型，欠擬合，不能很好地適應我們的訓練集；第三個模型是乙個四次方的模型，過於強調擬合原資料，而丟失了演算法的本質：**新資料。我們可以看出，若給出乙個新的值使之**，它將表現的很差，是過擬合，而中間的模型似乎最合適。
例2：分類問題
顯然，圖一是欠擬合的，不能很好的適應訓練集，而圖三過度擬合原資料，使其在**新資料時表現很差，所以中間的模型最適合。
解決過擬合問題的方法：1.丟棄一些不能幫助我們正確**的特徵。可以是手工選擇保留哪些特徵，或者使用一些模型選擇 的演算法來幫忙（例如 pca）
2.正則化。 保留所有的特徵，但是減少引數的大小（magnitude）
由於高次項導致了過擬合的產生，我們就通過使高次項係數接近0的方法來時函式更好的擬合
在一定程度上減小這些引數? 的值，這就是正則化的基本方法。
修改後的代價函式為：
其中，λ為正則化引數，即對引數的正則化程度。
根據慣例，我們不對引數θ0進行正則化。
若λ過大，，那麼?（不包括?0）都會趨近於 0，這樣我們所得到的只能是一條平行於?軸的直線。
所以對於正則化，我們要取乙個合理的 ? 的值，這樣才能更好的應用正則化。
正則化線性回歸的代價函式為：
由於θ0不需要正則化，故分為兩種情形
對上面的演算法中? = 1,2, . . . , ? 時的更新式子進行調整可得：
可以看出，正則化線性回歸的梯度下降演算法的變化在於，每次都在原有演算法更新規則的基礎上令?值減少了乙個額外的值。
圖中的矩陣尺寸為 (? + 1) ∗ (? + 1)。當λ>0時，該矩陣一定是可逆矩陣。
邏輯回歸模型正則化後的代價函式為:
要最小化該代價函式，通過求導，得出梯度下降演算法為：
注：看上去同線性回歸一樣，但是知道 ℎ?(?) = ?(???)，所以與線性回歸不同。
IT餐館 第三回 模式
就在上回聚會後不久，杜鵬就在 msn上聯絡雨辰，說他們公司最近新招來了兩個新人，其中乙個小伙對設計模式很感興趣，沒事就找老杜聊怎麼學這個東西，老杜想起雨辰前些 年總愛在酒桌上與大家聊這些話題，所以就想單獨約雨辰出來給那個小伙講講。雨辰因為最近產品要發布測試版有些忙，所以就約在三天後的週六中午在王利的...
第三回 實數域
上回已經構造了實數系 mathbb r sim.下面在 mathbb 上定義一些運算使之構成乙個域.mathbb 中的元素由有理數基本列的等價類 a n 構成,為了記號的方便,我們今後就用 a n 來表示.仿照有理數域,我們希望定義加減乘除.其中加法和減法比較好定義 a n b n a n b n ...
設計模式 學習筆記 第三回
adapter 介面卡 模式 使用場景 已經給定了消費者和生產者，即呼叫者和被呼叫者，但是二者的藉口不統 一 不匹配，可以通過本模式，增加乙個翻譯層，將呼叫請求傳送給被呼叫者。從而，在不修改消費者和生產者的前提下，完成二者的匹配問題。有點像翻譯人員的作用和所處的位置，例如，乙個說英語的e要和乙個說中...