《統計學習方法》(第二版)1.6 ~ 1.8
用學到的模型\(\hat f\)對未知資料**的誤差即為泛化誤差(generalization error)。
泛化誤差反映了學習方法的泛化能力。事實上,泛化誤差就是所學習到的模型的期望風險。
泛化誤差上界(generalization error bound)
性質:是樣本容量的函式,當樣本容量增加時,泛化上界趨於0;
是假設空間容量的函式,假設空間容量越大,模型就越難學,泛化誤差上界就越大。
二類分類問題的泛化誤差上界
期望風險\(r(f) = e[l(y, f(x))]\)
經驗風險\(\hat r(f)=\frac\sum_^nl(y_i,f(x_i))\)
經驗風險最小化函式\(f_n=\arg \min_ \hat r(f)\)
\(f_n\)的泛化能力\(r(f_n)=e[l(y, f_n(x))]\)
定理對二類分類問題,當假設空間是有限個函式的集合\(f=\\)時,對任意乙個函式\(f \in f\),至少以概率\(1-\delta,0 \lt \delta \lt 1\),以下不等式成立:
\[r(f) \le \hat r(f)+\epsilon(d,n,\delta)
\]其中,
\[\epsilon(d,n,\delta)=\sqrt(logd+log\frac}
\]第1項是訓練誤差,第2項時n的單調遞減函式,也是\(\sqrt\)階的函式。
\[監督學習方法
\left\
生成方法 && → && 生成模型\\
判別方法 && → && 判別模型\\
\end
\right.
\]模型表示了給定輸入x產生輸出y的生成關係。
生成方法可以還原出聯合概率分布p(x,y),而判別方法則不能;
生成方法的學習收斂速度更快,即當樣本容量增加的時候,學到的模型可以更快地收斂於真實模型;
當存在隱變數時,仍可以用生成方法學習,此時判別方法就不能用。
e.g.樸素貝葉斯法和隱馬爾可夫模型
由資料直接學習決策函式f(x)或者條件概率分布p(y|x)作為**模型,即判別模型。
判別方法直接學習的是條件概率p(y|x)或決策函式f(x),直接面對**,往往學習的準確率更高;
由於直接學習p(y|x)或f(x),可以對資料進行各種程度上的抽象、定義特徵並使用特徵,因此可以簡化學習問題。
e.g.k近鄰法、感知機、決策樹、邏輯斯諦回歸模型、最大熵模型、支援向量機、提公升方法和條件隨機場
在監督學習中,當輸出變數y取有限個離散值時,**問題便成為分類問題。
e.g.二分問題
tp:將正類**為正類數
fn:將正類**為負類數
fp:將負類**為正類數
tn:將負類**為負類數
評價指標:
\[精確率:p=\frac
\]\[召回率:r=\frac
\]\[精確率和召回率的調和均值:\frac=\frac+\frac\\
f_1=\frac
\]e.g.k近鄰法、感知機、樸素貝葉斯法、決策樹、決策列表、邏輯斯諦回歸模型、最大熵模型、支援向量機、提公升方法、貝葉斯網路、神經網路、winnow
標註問題的輸入是乙個觀測序列,輸出是乙個標記序列或狀態序列。
example:對乙個單詞序列**其對應的詞性標記序列。
e.g.隱馬爾可夫模型、條件隨機場
回歸模型表示從輸入變數到輸出變數之間對映的函式。
example:股價**
統計學習及監督學習概論(3)
統計學習方法 第二版 1.4 1.5 當評估時使用的損失函式給定時,訓練誤差和測試誤差成為學習方法評估的標準。測試誤差反映了學習方法對未知的測試資料集的 能力 泛化能力 1 當選擇的模型複雜度過大時,過擬合現象就會發生。過擬合是指學習時選擇的模型所包含的引數過多,以至出現這一模型對已知資料 得很好,...
統計學習及監督學習概論(2)
統計學習方法 第二版 1.3 模型就是所要學習的條件概率分布或決策函式。損失函式和風險函式 損失函式度量模型一次 的好壞。風險函式度量平均意義下模型 的好壞。損失函式loss function 代價函式cost function 風險函式risk function r f e p l y,f x b...
統計學習及監督學習概論(1)
統計學習方法 第二版 1.1 1.2 statistical learning,關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。學習,即乙個系統能夠通過執行某個過程改進它的效能。基本假設 同類資料具有一定的統計規律性 資料型別 離散變數 連續變數 得到乙個有限的訓練資料 t...