1.統計學習的特點
2.統計學習的物件
對資料的基本假設：同類資料具有一定的統計規律性
3.統計學習的目的
4.統計學習方法
1.基本概念 x
=(x 1,x
2,...,
x i
,...,
x n
)t x
i =(x
i 1,
x i
2,...,
x in
)t
t =((
x 1,
y 1
),(
x 2,
y 2
),...,(
x n
,y n
))2.聯合概率分布
3.假設空間
4.問題的形式化
-訓練集：
t =((
x 1,
y 1
),(
x 2,
y 2
),...,(
x n
,y n
));
in (
x i
,y i
),i =1,2,...,n
方法=模型+策略+演算法
1.模型
f為假設空間，有以下幾種定義： f
=(f ∣
y =
f (
x )) f
=(f ∣
y =
f n
(x )) f
=(p ∣
p (
y ∣
x )) f
=(p ∣
p n
(y ∣
x ))
引數向量n是n維歐式空間r_n,也稱引數空間
2.策略 l
(y,f
(x))=1,
y !=
f (
x );
l (
y ,
f (
x ))=0,
y =
f (
x ) l
(y,f
(x))=(
y −
f (
x ))2
l (
y ,
f (
x ))=∣
y −
f (
x )∣ l
(y,p
(y∣x
))=−
logp
(y∣x
) 3.演算法
1.正則化
2.交叉驗證
生成方法：
由資料學習聯合概率分布p(x,y)，然後求出條件概率分布p(y|x)作為**的模型，即生成模型：
模型表示了給定輸入x產生輸出y的生成關係。典型的生成模型有：樸素貝葉斯法和隱馬爾可夫模型；
判別方法：
由資料直接學習決策函式f(x)或者條件概率分布p(y|x)作為**的模型，即判別模型。判別方法關心的是對給定的輸入x，應該**什麼樣的輸出y。典型的判別模型包括：k近鄰法、感知機、決策樹、邏輯回歸模型、最大熵模型、支援向量機、提公升方法和條件隨機場。
生成方法的特點：
判別方法的特點：
統計學習方法第一章
1.numpy.poly1d 1,2,3 import numpy as np np.poly1d 1 2,3 poly1d 1 2,3 r np.poly1d 1 2,3 print r 1 62.from scipy.optimize import leastsq 表示scipy.optimiz...
統計學習方法 第一章
1.3 統計學習三要素 1.4 模型評估與模型選擇 1.5 正則化與交叉驗證 1.6 泛化能力 1.7 生成模型與判別模型 1.8 分類問題 1.9 標註問題 1.10 回歸問題 統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科，統計學習也稱為統計機器學習。如果乙個...
統計學習方法 第一章統計學習方法概論
1.統計學習的方法是基於資料構建統計模型從而對資料進行 與分析。統計學習由監督學習，非監督學習，半監督學習和強化學習等組成。2.輸入變數和輸出變數都是連續變數，稱為回歸問題 輸出變數為有限個離散變數的 問題為分類問題 輸入變數和輸出變數均為變數序列的 問題稱為標註問題。3.統計學習常用的損失函式 0...