決策函式y=f(x):輸入乙個x,它就輸出乙個y值,這個y與乙個閾值比較,根據比較結果判定x屬於哪個類別。
條件概率分布p(y|x):輸入乙個x,它通過比較它屬於所有類的概率,然後**時應用最大後驗概率法(map)即比較條件概率最大的類為x對應的類別。
舉個例子,對於乙個二分類問題:對於y=f(x)形式的分類模型,如果輸出y大於某個閾值v就屬於類w1,否則屬於類w2;而對於p(y|x)形式的分類模型,分別計算條件概率,如果p(w1|x)大於p(w2|x),x就屬於類w1,否則屬於類w2。
生成式模型(generative model):由資料學習聯合概率密度分布p(x,y),然後生成
條件概率分布p(y|x),或者直接學得乙個決策函式 y=f(x),用作模型**。
判別式模型(discriminative model):由資料直接學習決策函式f(x)或者條件概率分布p(y|x)作為**。
1.生成模型和判別模型都屬於監督學習的模型。
2.生成式模型可以根據貝葉斯公式得到條件概率分布p(y|x),但反過來不行,即判別方法不能還原出聯合概率分布p(x,y)。
3.生成方法學習聯合概率密度分布p(x,y),所以就可以從統計的角度表示資料的分布情況,能夠反映同類資料本身的相似度,但它不關心到底劃分各類的那個分類邊界在哪;判別方法
不能反映訓練資料本身的特性,但它尋找不同類別之間的最優分類面,反映的是異類資料之間的差異。
生成式模型:
判別式模型:
假如你的任務是識別乙個語音屬於哪種語言,對面乙個人走過來,和你說了一句話,你需要識別出她說的到底是漢語、英語還是法語等。那麼你可以有兩種方法達到這個目的:
(1)學習每一種語言,你花了大量精力把漢語、英語和法語等都學會了,我指的學會是你知道什麼樣的語音對應什麼樣的語言。然後再有人過來對你說,你就可以知道他說的是什麼語音.
(2)不去學習每一種語言,你只學習這些語言之間的差別,然後再判斷(分類)。意思是指我學會了漢語和英語等語言的發音是有差別的,我學會這種差別就好了。
第一種方法就是生成方法,第二種方法是判別方法。
參考一篇比較判別式模型和生成式模型的*****:
on dicriminative vs. generative classfier: a comparison of logistic regression and ***** bayes
判別式模型和生成式模型
判別式模型與生成式模型 生成式模型 generative model 與判別式模型 discrimitive model 是分類器常遇到的概念,它們的區別在於 對於輸入x,類別標籤y 1.生成式模型估計它們的聯合概率分布p x,y 2.判別式模型估計決策函式f x 或條件概率分布p y x 3.生成...
判別式模型和生成式模型
生成式模型 generative model 與判別式模型 discrimitive model 的區別在於 對於輸入x,類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 判別式模型常見的主要有 邏輯回歸 logistic regression 支援向量機...
判別式模型和生成式模型
區別在於 對於輸入x,類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 生成式模型可以根據貝葉斯公式得到判別式模型,但反過來不行。判別式模型常見的主要有 linear regression 線性回歸 logistic regression 最大熵模型 sv...