本篇博文總結最近學習到的生成式模型與判別式模型的知識。
就像之前在總結分類和聚類時說的一樣，機器學習基本在做的事情就是在分類、打標籤，我們的模型也就像乙個個分類機器（個人看法，歡迎指正）。而這麼多的模型，可以分為兩類：生成式模型與判別式模型。
對於乙個分類器，當我們丟進去x以後，那麼我們到底該如何決定它該分到哪乙個標籤呢，也就是它丟擲的y會是多少呢？很自然地，我們會想到使條件概率 p(y|x) 最大的y是我們的理想值。說到這裡，我們就可以接著簡單介紹生成式模型和判別式模型了
判別式模型：按名字，並不嚴謹地，我們可以理解為它直接判別y到底應該為多少。它直接對後驗概率 p(y|x) 建模，然後求使得 p(y|x) 最大的y，從而得到y的估計值。
生成式模型：按名字，同樣並不嚴謹地，我們可以理解為它是『生成』乙個分布。因為他是對聯合分布 p(x,y) 進行建模處理的。那麼生成式模型如何判別到底y為多少呢？它是通過對 p(x,y) 運用貝葉斯公式得到 p(y|x) ，然後再求使得 p(y|x) 最大的y，從而得到y的估計值。具體的公式為：從上面的介紹也可以發現，從生成式模型可以推出判別式模型，但從判別式模型卻不能推出生成式模型（二者聯絡）。
也有這麼說二者的：判別式模型只形成乙個模型，輸入x，就根據 p(y|x) 的值返回標籤；生成式模型則同時形成多個模型，乙個類別形成乙個模型，然後再每個模型中計算 p(y|x) ，比較後判定y的值
生成式模型
判別式模型
1.判別式分析
2.樸素貝葉斯
3.k近鄰(knn)
4.混合高斯模型
5.隱馬爾科夫模型(hmm)
6.貝葉斯網路
7.sigmoid belief networks
8.馬爾科夫隨機場(markov random fields)
9.深度信念網路(dbn)
1.線性回歸(linear regression)
2.邏輯斯蒂回歸(logistic regression)
3.神經網路(nn)
4.支援向量機(svm)
5.高斯過程(gaussian process)
6.條件隨機場(crf)
7.cart(classification and regression tree)
優點缺點
生成式模型
對資料量要求低，少量樣本也可以做（在假設條件成立時）
易於收斂、擬合
可以處理無標籤資料
支援增量學習。新增新的類別後，不需要全部重新訓練，只訓練
可以生成 x
錯誤率高
一般對資料分布有假設，這些假設在實際應用通常很難滿足
更易於對x本身進行建模，很難對x的某種變換建模
學習和計算過程很複雜
判別式模型
錯誤率低
可以對x的某種變換進行建模處理
對資料本身的分布沒有限制
分類邊界更加靈活
不能反映訓練資料本身的特性
變數之間的關係不清楚，不可視
擬合較生成式模型差
判別式模型 vs. 生成式模型
機器學習 生成模型與判別模型詳解
3.如何選擇哪種模型 生成模型 generative model,gm 先對聯合概率p x p x,p x,建模，然後再求取後驗概率模型。判別模型 discriminative model,dm 從資料集d中直接估計後驗概率模型 p 1 x p 2 x p n x p 1 x p 2 x p n x...
機器學習 之 生成式模型 VS 判別式模型
摘要 判別式模型，就是只有乙個模型，你把測試用例往裡面一丟，label就出來了，如svm。生成式模型，有多個模型 一般有多少類就有多少個 你得把測試用例分別丟到各個模型裡面，最後比較其結果，選擇最優的作為label，如樸素貝葉斯。本文將從生成式模型與判別式模型的概念，適用環境以及具體模型三個方面分析...
機器學習之判別式模型和生成式模型
機器學習之判別式模型和生成式模型 判別式模型 discriminative model 是直接對條件概率p y x 建模。常見的判別式模型有線性回歸模型 線性判別分析 支援向量機svm 神經網路 boosting 條件隨機場等。舉例 要確定乙個羊是山羊還是綿羊，用判別模型的方法是從歷史資料中學習到模...