監督學習的任務就是學習乙個模型，應用這一模型，對給定的輸入**相應的輸出，這一模型一般形式為決策函式：
y =f
(x
)y= f\left ( x \right )
y=f(x)
或者條件概率分布：
p (y
∣x
)p\left ( y\mid x \right )
p(y∣x)=f
(x,y
)y= f\left ( x ,y\right )
y=f(x,
y)，然後求出條件概率分布p(y
∣x
)p\left ( y\mid x \right )
p(y∣x)
作為**模型，即生成模型：
p (x
∣y)=
p(x,
y)p(
x)
p\left ( x\mid y \right ) = \frac
p(x∣y)
=p(x
)p(x
,y)
這樣的方法稱之為生成方法，是因為模型表示了給定了輸入x
xx產生y
yy的生成關係，典型的生成模型有：樸素貝葉斯和隱馬爾可夫。
判別方法由資料直接學習決策函式f(x
)f\left ( x \right )
f(x)
或者條件概率p(y
∣x
)p\left ( y\mid x \right )
p(y∣x)
作為**的模型，即判別模型。判別方法關心的是對給定的輸入x
xx，應該**什麼樣的輸出y
yy。典型的判別模型包括：k
kk近鄰演算法、感知機、決策樹、邏輯回歸、最大熵模型、svm和條件隨機場等。
在監督學習中，生成方法和判別方法各有優缺點，適合於不同條件下的學習問題。
生成方法特點：生成方法可以還原出聯合概率分布p(x
,y
)p\left ( x,y \right )
p(x,y)
，而判別方法則不能；生成方法的學習收斂速度更快，即當樣本容量在增加的時候，學到的模型可以更快地收斂於真實模型；當存在隱變數時，仍可以用生成方法學習，此時判別方法就不行。
判別方法的特點：判別方法直接學習的是條件概率y=f
(x,y
)y= f\left ( x ,y\right )
y=f(x,
y)或者決策函式f(x
)f\left ( x \right )
f(x)
，直接面對**，往往學習的準確率更高；由於直接學習p(y
∣x
)p\left ( y\mid x \right )
p(y∣x)
或f (x
)f\left ( x \right )
f(x)
，可以對資料進行各種程度上的抽象、定義特徵使用特徵，因此可以簡化學習問題。
統計學習方法 李航著，清華大學出版社
生成模型 VS 判別模型
判別模型 由資料直接學習決策函式y f x 或者條件概率分布p y x 作為 的模型，即判別模型。基本思想是有限樣本條件下建立判別函式，不考慮樣本的產生模型，直接研究 模型。典型的判別模型包括k近鄰，感知級，決策樹，支援向量機等。生成模型 由資料學習聯合概率密度分布p x,y 然後求出條件概率分布p...
生成模型 VS 判別模型
所謂概率模型,顧名思義,就是將學習任務歸結於計算變數的概率分布的模型。概率模型非常重要。在生活中,我們經常會根據一些已經觀察到的現象來推測和估計未知的東西 這種需求,恰恰是概率模型的推斷 inference 行為所做的事情。推斷 inference 的本質是 利用可觀測變數,來推測未知變數的條件分布...
生成模型VS判別模型
監督學習方法可以分為生成方法和判別方法，所學習得到的模型分別為生成模型和判別模型。生成方法由資料學習聯合概率分布p x,y 然後求出條件概率分布p y x 作為 的模型，即生成模型 典型的生成模型有樸素貝葉斯，隱馬爾可夫模型 因為模型表示了給定輸入x和產生輸出y的生成關係，即聯合概率分布p x,y ...