《統計學習方法》（第二版）1.3
模型就是所要學習的條件概率分布或決策函式。
損失函式和風險函式
損失函式度量模型一次**的好壞。
風險函式度量平均意義下模型**的好壞。
損失函式loss function / 代價函式cost function
風險函式risk function
\[r_(f)=e_p[l(y,f(x))]=\begin
\int_ l(y,f(x))p(x,y)dxdy
\end
\]經驗風險empirical risk / 經驗損失empirical loss
\[r_(f)=\frac\sum_^nl(y_i,f(x_i))
\]結構風險structural risk
\[r_(f)=\frac\sum_^nl(y_i,f(x_i))+\lambda j(f)
\]第1項是經驗風險，第2項是正則化項，\(\lambda \ge 0\)為調整兩者之間關係的係數。
其中\(j(f)\)為模型的複雜度。模型越複雜，\(j(f)\)就越大。複雜度表示了對複雜模型的懲罰。
經驗風險最小化（empirical risk minimization, erm）
思想：經驗風險最小的模型是最優的模型
e.g.極大似然估計
缺點：樣本容量很小時，容易過擬合（over-fitting）
結構風險最小化（structural risk minimization, srm）
思想：結構風險最小的模型是最優的模型；等價於正則化；在經驗風險上加上表示模型複雜度的正則化項/罰項，結構風險小需要經驗風險與模型複雜度同時都小。
e.g.貝葉斯估計中的最大後驗概率估計
優點：防止過擬合，對訓練資料以及未知的測試資料都有較好的**。
學習模型的具體計算方法。
統計學習及監督學習概論（4）
統計學習方法 第二版 1.6 1.8 用學到的模型 hat f 對未知資料 的誤差即為泛化誤差 generalization error 泛化誤差反映了學習方法的泛化能力。事實上，泛化誤差就是所學習到的模型的期望風險。泛化誤差上界 generalization error bound 性質 是樣本容...
統計學習及監督學習概論（3）
統計學習方法 第二版 1.4 1.5 當評估時使用的損失函式給定時，訓練誤差和測試誤差成為學習方法評估的標準。測試誤差反映了學習方法對未知的測試資料集的 能力 泛化能力 1 當選擇的模型複雜度過大時，過擬合現象就會發生。過擬合是指學習時選擇的模型所包含的引數過多，以至出現這一模型對已知資料 得很好，...
統計學習及監督學習概論（1）
統計學習方法 第二版 1.1 1.2 statistical learning，關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。學習，即乙個系統能夠通過執行某個過程改進它的效能。基本假設 同類資料具有一定的統計規律性 資料型別 離散變數 連續變數 得到乙個有限的訓練資料 t...