過擬合是指訓練誤差和測試誤差之間的差距太大。就是模型複雜度高於實際問題，模型在訓練集上表現很好，但在測試集上卻表現很差。
措施：1、增加資料集
2、加入正則化
3、進行特徵選擇
4、提前停止訓練，深度學習中常用dropout策略。
欠擬合是指模型不能在訓練集上獲得足夠低的誤差。換句換說，就是模型複雜度低，模型在訓練集上就表現很差，沒法學習到資料背後的規律。
措施：1、增加模型複雜度和訓練次數
2、增加新特徵，增大假設空間
3、如果有正則項，可以調小正則項引數
偏差、方差、雜訊
偏差：度量了模型的期望**和真實結果的偏離程度，刻畫了模型本身的擬合能力。
方差：度量了同樣大小的訓練集的變動所導致的學習效能的變化，即刻畫了資料擾動所造成的影響。
雜訊：表達了當前任務上任何模型所能達到的期望泛化誤差的下界，刻畫了學習問題本身的難度。
偏方差分解
在實際的問題中噪音是資料自帶的，沒有辦法優化，因此為了優化模型，降低模型的泛化誤差，我們便從降低偏差和方差入手，但是方差和偏差存在權衡問題，即在優化乙個時便會導致另乙個公升高，下面給出了泛化誤差和偏差、方差的變化關係，
在訓練不足時，模型的擬合能力不強，此時偏差主導著總體誤差(泛化誤差)，隨著訓練程度的加深，模型的擬合能力已經很強，訓練資料發生的噪音擾動也被模型學到，方差逐漸主導總體誤差。
以上是以線性回歸為例。lamda越小意味著複雜度越大
正則化是為了防止過擬合， 進而增強泛化能力
l1和l2正則化的目的都是減少模型的複雜度。
l1正則化可以產生稀疏權值矩陣，即產生乙個稀疏模型，可以用於特徵選擇
l2正則化可以防止模型過擬合（overfitting）；一定程度上，l1也可以防止過擬合
當對損失進行求導時，對引數b進行求導，可發現正則化對其沒有影響，而當對引數w進行求導時，可以發現正則化對w的影響。
統計學習基礎
腦圖檢視效果更好 包括監督學習 非監督學習 半監督學習 強化學習等 1 有限訓練資料集 2 學習模型集合 所有可能模型的假設空間 3 確定學習策略 模型選擇準則 4 學習演算法 求解最優模型 5 使用模型對資料進行 或分析概率模型 由條件概率分布p x,y 表示 非概率模型 由決策函式y f x 表...
統計學習方法 統計學習基礎（一）
監督學習 統計學習的三要素 模型評估與模型選擇 一 統計學習的特點 以方法為中心 目標是對資料進行 與分析 統計學習的方法 可以總結出統計學習的三要素 模型 策略和演算法。監督學習的任務是學習乙個模型，使模型能夠對任意給定的輸入能做出乙個好的 基本概念 假設空間 模型屬於由輸入空間到輸出空間的對映的...
統計學 統計學基礎
五種抽樣方法 1 簡單隨機 選取熱量相同且每個樣本有同等概率被選擇的樣本 2 系統 簡單的系統抽取樣本 3 任意 使用乙個碰巧很容易被選擇的樣本 4 整群 先將總體分為不同組群，從中隨機挑選幾個組群作為樣本 5 分層 定義層級，在每個層級隨機抽取樣本。抽樣方法的選擇一定要符合 1 只有樣本對總體具有...