以下內容均為https的學習筆記。
上節說了經驗風險最小化準則（erm），過擬合與欠擬合理論均與其有關。
所得：我們可以將機器學習看作乙個從有限、高維、有雜訊的資料上得到更一般性規律的泛化問題。
簡單說：過擬合表現在對訓練資料依賴產生過度自信的效能，但對於測試集則能力不足，是」紙上談兵「。
根據大數定理可知，當訓練集大小|?| 趨向於無窮大時，經驗風險就趨向於期望風險．
1）真實訓練樣本子集較小，達不到無窮大要求。
2）含有雜訊，不能真實的反映原資料真實分布。
綜上，．經驗風險最小化原則很容易導致模型在訓練集上錯誤率很低，但是在未知資料上錯誤率很高。
1）原因
由於訓練資料少和包含雜訊、模型能力強。
2）解決方法
結構風險最小化（structure risk minimization，srm）準則：在經驗風險最小化（erm）的基礎上再引入引數的正則化（regularization）來限制模型能力，使其不要過度地最小化經驗風險的準則。正則化也可以使用其他函式，比如ℓ1 範數．ℓ1 範數的引入通常會使得引數有一定稀疏性。其中‖?‖ 是ℓ2 範數的正則化項，用來減少引數空間，避免過擬合；? 用來控制正則
化的強度．
本質：從貝葉斯學習的角度來講，正則化是引入了引數的先驗分布，使其不完全依賴訓練資料。
模型不能很好地擬合訓練資料，在訓練集上的錯誤率比較高．
模型能力不足。
給定乙個訓練集，機器學習的目標是從假設空間中找到乙個泛化錯誤較低的「理想」模型，以便更好地對未知的樣本進行**，特別是不在訓練集**現的樣本．
因此，我們可以將機器學習看作乙個從有限、高維、有雜訊的資料上得到更一般性規律的泛化問題。
機器學習基礎 過擬合，欠擬合
最左邊屬於欠擬合，最右邊過擬合。欠擬合是對資料擬合的不好，在訓練集和測試集上的表現都很差。過擬合在訓練集上表現得很好，在測試集上表現得不好 欠擬合原因 模型過於簡單 使用更複雜的模型，整合 訓練次數不夠 增加訓練次數 過擬合原因 模型過於複雜 訓練資料少 資料中雜訊多 解決過擬合方法 簡化模型 減少...
機器學習筆記三 欠擬合與過擬合的概念
注 以下所有內容均來自 網易公開課andrew ng的機器學習課程 本課要講的內容包括 1 locally weighted regression 區域性加權回歸 2 probabilistic interpretation 概率解釋 3 logistic regression 邏輯回歸 4 per...
機器學習基礎問題1 欠擬合與過擬合
欠擬合模型，對已有資料的匹配性很差，但是對資料中的雜訊不敏感 解決欠擬合問題的三個方法 2 構造複雜的多項式 增加函式中的次項來增強模型的變化能力，從而提公升泛化能力。3 減少正則化引數 正則化引數出現的nudist是防止過擬合，減少正則化引數來消除欠擬合。過擬合模型，對資料的匹配性強，同時對資料中...