監督學習的任務就是學習乙個模型，應用這一模型，對給定的輸入，**相應的輸出。這個模型一般形式為決策函式：y=
f(x)
y =f
(x
)或者條件概率分布：p(
y|x)
p (y
|x
)監督學習方法又可以分為生成方法和判別方法，所學的模型分被稱為生成模型和判別模型。
生成方法由資料學習聯合分布律p(x,y),然後求出條件概率分布p(y|x)作為**模型，即生成模型：p(
y|x)
=p(x
,y)p
(x) p(y
|x)=
p(x,
y)p(
x)
在監督學習中，當輸出變數y取有限個離散值是，**問題便成為分類問題。這時，輸入變數x可以是離散的，也可以是連續的。監督學習從資料中學習乙個分類模型或乙個分類決策函式，稱為分類器。對新的輸入進行**稱為分類。
標註問題是分類問題的乙個推廣，是更複雜的的結構**問題的簡單形式，標註問題的輸入是乙個觀察序列，輸出是乙個標記序列。標註問題的目標在於學習乙個模型，使它能夠對觀察序列給出標記序列作為序列。
標註問題分為學習和標註兩個過程。首先給定乙個訓練資料集：t=
(x(1
),y(
1)),
(x(2
),y(
2)),
...,
(x(n
),y(
n)) t=(
x(1)
,y(1
)),(
x(2)
,y(2
)),.
..,(
x(n)
,y(n
))
輸入序列：x(
i)=(
x(i)
1,x(
i)2,
...,
x(i)
n)t x(i
)=(x
1(i)
,x2(
i),.
..,x
n(i)
)t
輸出序列：y(
i)=(
y(i)
1,y(
i)2,
...,
y(i)
n)t y(i
)=(y
1(i)
,y2(
i),.
..,y
n(i)
)t
i=1,2,
...,
n i=1
,2,.
..,n
n是序列的長度
學習系統基於訓練資料集構建乙個模型，表示為條件概率分布:p(
y1,y
2,y,
...,
yn|x
1,x2
,...
,xn)
p (y
1,y2
,y,.
..,y
n|x1
,x2,
...,
xn
)標註系統按照學習得到的條件概率分布模型，對新的輸入觀測序列找到相應的輸出的標記序列。
回歸用於**輸入變數和輸出變數之間的關係。回歸模型是表示從輸入變數輸出變數之間的對映。回歸問題等價於函式擬合，選擇一條函式曲線使其很好的**未知資料。
統計學習方法筆記1 統計學習方法概論
統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。從資料出發，提取資料的特徵，抽象出資料的模型，發現資料中的知識，又回到對資料的分析與 中去。統計學習關於資料的基本假設是同類資料具有一定的統計規律性，這是統計學習的前提。這裡的同類資料是指具有某種共同性質的資料，例如...
統計學習方法筆記
1.損失函式 期望，就是均值 極大似然估計 似然就是概率 可能性，所以也是極大可能性估計 對數損失是用於最大似然估計的。一組引數在一堆資料下的似然值，等於每一條資料的概率之積。而損失函式一般是每條資料的損失之和，為了把積變為和，就取了對數 再加個負號是為了讓 最大似然值和 最小損失對應起來 w 是w...
《統計學習方法》筆記一 統計學習方法概論
好久沒有更新部落格了，這次主要想整理一下之前學習過的機器學習和深度學習有關的知識。我本身數學專業基礎比較薄弱，另外主要做計算機視覺應用所以這個系列的文章並不會涉及很多數學理論知識，學習這些機器學習方法也主要是為了找工作而用，主要了解其中的思想和非常基礎的推導過程。一 統計學習的分類 統計學習方法是基...