判別式模型和生成式模型

判別式模型(discriminative model)：直接對條件概率p(y|x)進行建模，常見判

別模型有：線性回歸、決策樹、支援向量機svm、k近鄰、神經網路等；

生成式模型(generative model)：對聯合分布概率p(x,y)進行建模，常見生成式

模型有：隱馬爾可夫模型hmm、樸素貝葉斯模型、高斯混合模型gmm、lda

等；生成式模型更普適；判別式模型更直接，目標性更強

生成式模型關注資料是如何產生的，尋找的是資料分布模型；判別式模型關注的

資料的差異性，尋找的是分類面

由生成式模型可以產生判別式模型，但是由判別式模式沒法形成生成式模型

機器學習中有兩大任務——監督學習和非監督學習。

給定資料，生成方法是從資料中學習聯合概率分布

生成模型表示了輸入x和輸出y之間的生成關係，例如樸素貝葉斯，結果是連乘得到。

判別方法則從資料中直接學習條件概率分布或決策函式，判別模型關心的是給定的輸入x，會給出什麼樣的**結果，更關心結果這個**值。

生成式模型是根據概率乘出結果，而判別式模型是給出輸入，計算出結果。

常見的生成式模型有:

*****bayes（樸素貝葉斯）

gaussian mixture model and othertypes of mixture model（高斯混合及其他型別混合模型）

hidden markov model（隱馬爾可夫）

aode（平均單依賴估計）

latent dirichlet allocation（lda主題模型）

restricted boltzmann machine（限制波茲曼機）

常見的判別式模型有：

linear regression（線性回歸）

logistic regression（邏輯回歸）

linear discriminant analysis（線性判別分析）

support vector machines（支援向量機）

boosting（整合學習）

conditional random fields（條件隨機場）

neural networks（神經網路）

總結一句話，生成模型是**結果的條件概率分布，判別模型則直接**出結果。

判別式模型和生成式模型

判別式模型與生成式模型 生成式模型 generative model 與判別式模型 discrimitive model 是分類器常遇到的概念，它們的區別在於 對於輸入x，類別標籤y 1.生成式模型估計它們的聯合概率分布p x,y 2.判別式模型估計決策函式f x 或條件概率分布p y x 3.生成...

判別式模型和生成式模型

生成式模型 generative model 與判別式模型 discrimitive model 的區別在於 對於輸入x，類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 判別式模型常見的主要有 邏輯回歸 logistic regression 支援向量機...

判別式模型和生成式模型

區別在於 對於輸入x，類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 生成式模型可以根據貝葉斯公式得到判別式模型，但反過來不行。判別式模型常見的主要有 linear regression 線性回歸 logistic regression 最大熵模型 sv...