判別式模型與生成式模型

判別式模型

該模型主要對p(y|x)建模，通過x來**y。在建模的過程中不需要關注聯合概率分布。只關心如何優化p(y|x)使得資料可分。通常，判別式模型在分類任務中的表現要好於生成式模型。但判別模型建模過程中通常為有監督的，而且難以被擴充套件成無監督的。

常見的判別式模型有：

logistic regression

linear discriminant analysis

support vector machines

boosting

conditional random fields

linear regression

neural networks

生成式模型

該模型對觀察序列的聯合概率分布p(x,y)建模，在獲取聯合概率分布之後，可以通過貝葉斯公式得到條件概率分布。生成式模型所帶的資訊要比判別式模型更豐富。除此之外，生成式模型較為容易的實現增量學習。

常見的生成式模型有:

gaussian mixture model and other types of mixture model

hidden markov model

***** bayes

aode

latent dirichlet allocation

restricted boltzmann machine

由上可知，判別模型與生成模型的最重要的不同是，訓練時的目標不同，判別模型主要優化條件概率分布，使得x,y更加對應，在分類中就是更可分。而生成模型主要是優化訓練資料的聯合分布概率。而同時，生成模型可以通過貝葉斯得到判別模型，但判別模型無法得到生成模型。