《統計學習方法》（第二版）1.1 1.2
statistical learning，關於計算機基於資料構建概率統計模型並運用模型對資料進行**與分析的一門學科。
學習，即乙個系統能夠通過執行某個過程改進它的效能。
基本假設：同類資料具有一定的統計規律性
資料型別：離散變數、連續變數
得到乙個有限的訓練資料（training data）集合[1]
確定包含所有可能的模型的假設空間（hypothesis space），即學習模型的集合[2]
確定模型選擇的準則（evaluation criterion），即學習的策略
實現求解最優模型的演算法，即學習的演算法
通過學習方法選擇最優模型
利用學習的最優模型對新資料進行**或分析
監督學習（supervised learning）
監督學習[3]
是從標註資料中學習**模型的機器學習問題。
標註資料表示輸入輸出的對應關係。
將輸入與輸出的所有可能取值的集合稱為輸入空間和輸出空間。
每乙個具體的例項通常用特徵向量表述，因此可以將例項從輸入空間對映到特徵空間。
輸入例項 \(x\) 的特徵向量記作
\[x = (x^,x^,\cdots,x^,\cdots,x^)^t訓練集表示為
\]訓練集表示為
\[t = \
\]無監督學習（unsupervised learning）
無監督學習是從無標註資料中學習**模型的機器學習問題。
訓練集表示為
\[u = \
\]每乙個樣本為乙個例項。其中 \(x_i, i = 1, 2, \cdots, n\) 是樣本。
強化學習（reinforcement learning）
強化學習是指智慧型系統在與環境的連續互動中學習最優行為策略的機器學習問題。
強化學習方法中有基於策略的（policy-based）、基於價值的（value-based），這兩者屬於無模型的（model-free）方法，還有有模型的（model-based）方法。
半監督學習（semi-supervised learning）與主動學習（active learning）
半監督學習是指利用標註資料和未標註資料學習**模型的機器學習問題。旨在利用未標註資料中的資訊，輔助標註資料，進行監督學習，成本較低。
主動學習是指機器不斷主動給出例項讓教師進行標註，然後利用標註資料學習**模型的機器學習問題。
概率模型與非概率模型
邏輯斯諦回歸既可看作概率模型，也可看作非概率模型。
條件概率分布 最大化》 函式
函式 歸一化》 條件概率分布
線性模型與非線性模型
如果 \(y = f(x)\) 是線性函式，則模型是線性模型。
線性模型：感知機、線性支援向量機、k近鄰、k均值、潛在語義分析
非線性模型：核函式支援向量機、adaboost、神經網路
引數化模型與非引數化模型
引數化模型[6]
：感知機、樸素貝葉斯、邏輯斯諦回歸、k均值、高斯混合模型
非引數化模型[7]
：決策樹、支援向量機、k近鄰、adaboost、潛在語義分析、概率潛在語義分析、潛在狄利克雷分配
批量學習（batch learning）：一次接受所有資料
貝葉斯學習（bayesian learning）：利用貝葉斯定理，計算在給定資料條件下模型的條件概率，即後驗概率，並應用這個原理進行模型的估計，以及對資料的**。
核方法（kernel method）：使用核函式表示和學習非線性模型的一種機器學習方法。
假設資料是獨立同分布的 ↩︎
假設要學習的模型屬於某個函式的集合，稱為假設空間 ↩︎
標註的訓練資料集往往是人工給出的，所以稱為監督學習。 ↩︎
取條件概率分布形式 \(p(y|x)\)
↩︎取函式形式 \(y = f(x)\)
↩︎假設模型引數的維度固定 ↩︎
假設模型引數的維度不固定或者說無窮大。 ↩︎
統計學習及監督學習概論（4）
統計學習方法 第二版 1.6 1.8 用學到的模型 hat f 對未知資料 的誤差即為泛化誤差 generalization error 泛化誤差反映了學習方法的泛化能力。事實上，泛化誤差就是所學習到的模型的期望風險。泛化誤差上界 generalization error bound 性質 是樣本容...
統計學習及監督學習概論（3）
統計學習方法 第二版 1.4 1.5 當評估時使用的損失函式給定時，訓練誤差和測試誤差成為學習方法評估的標準。測試誤差反映了學習方法對未知的測試資料集的 能力 泛化能力 1 當選擇的模型複雜度過大時，過擬合現象就會發生。過擬合是指學習時選擇的模型所包含的引數過多，以至出現這一模型對已知資料 得很好，...
統計學習及監督學習概論（2）
統計學習方法 第二版 1.3 模型就是所要學習的條件概率分布或決策函式。損失函式和風險函式 損失函式度量模型一次 的好壞。風險函式度量平均意義下模型 的好壞。損失函式loss function 代價函式cost function 風險函式risk function r f e p l y,f x b...