已知輸入變數x,判別模型(discriminative model)通過求解條件概率分布p(y|x)或者直接計算y的值來**y。
生成模型(generative model)通過對觀測值和標註資料計算聯合概率分布p(x,y)來達到判定估算y的目的。
判別模型不需要計算資料的聯合分布,只需要求解條件概率,而生成模型是在計算資料的聯合分布之後,使用聯合分布去求概率。
判別模型:考慮的是乙個分類問題,如我們想根據車的一些特徵分辨一輛轎車和一輛suv。給定乙個訓練集,乙個演算法如邏輯回歸,它嘗試找到一條可以直線,以這條直線作為決策邊界把轎車和suv區分開。
生成模型: 根據汽車,我們可以建立乙個模型,比如轎車是什麼樣子的;然後再根據suv, 我們建立另外乙個suv的模型;最後根據這個兩個模型,判斷一輛車是轎車還是suv.
生成模型中既可以使用監督學習和無監督:
機器學習演算法中的判別模型:
有線性回歸(linear regression)
邏輯回歸(logistic regression)
支援向量機(svm)
傳統神經網路(traditional neural networks)
線性判別分析(linear discriminative analysis)
條件隨機場(conditional random field)…
機器學習演算法中的生成模型:
樸素貝葉斯(***** bayes)
隱馬爾科夫模型(hmm
貝葉斯網路(bayesian networks
隱含狄利克雷分布(latent dirichlet allocation)
…
1 7生成模型和判別模型
生成模型 通過學習聯合概率p x,y 然後求出條件分布p y x 為 模型,典型如 樸素貝葉斯模型,隱馬爾科夫模型 判別模型 學習的是條件概率p y x 和決策函式f x 作為 函式,典型如 k臨近法,感知機,決策樹,logistic回歸模型,最大熵模型,支援向量機,提公升方法,條件隨機場 生成優點...
生成模型和判別模型
監督學習的結果是得到乙個分類或 模型,應用該模型可以對給定輸入 x 得到相應的輸出 y,即 y f x 或者p y x 根據不 同類對應 的後驗概 率判斷所 屬類別 根據模型是否表示了x 到 y的生成過程將模型分為兩種,生成方式 判別方式。生成模型p y x p x y p x 如樸素貝葉斯法 隱馬...
生成模型和判別模型
我的理解 生成模型相當統計全國男女比例,判別模型相當於抽樣分析乙個省的男女比例作為全國男女比例 假設你現在有乙個分類問題,x是特徵,y是類標記。用生成模型學習乙個聯合概率分布p x,y 而用判別模型學習乙個條件概率分布p y x 用乙個簡單的例子來說明這個這個問題。假設x就是兩個 1或2 y有兩類 ...