機器學習 之 生成式模型 VS 判別式模型

2021-07-04 05:08:41 字數 827 閱讀 4585

【摘要】

判別式模型,就是只有乙個模型,你把測試用例往裡面一丟,label就出來了,如svm。生成式模型,有多個模型(一般有多少類就有多少個),你得把測試用例分別丟到各個模型裡面,最後比較其結果,選擇最優的作為label,如樸素貝葉斯。本文將從生成式模型與判別式模型的概念,適用環境以及具體模型三個方面分析比較這兩個模型,並在最後對列出模型範例,進行範例比較。

【基本概念】

【適用環境】

更進一步,從結果角度,兩種模型都能給你 輸出量(label 或 y etc.)。

【具體模型】

更進一步,可以再理解一下:

生成式模型

判別式模型

【模型範例】

假設你現在有乙個分類問題,x是特徵,y是類標記。用生成模型學習乙個聯合概率分布p(x,y),而用判別模型學習乙個條件概率分布p(y|x)。用乙個簡單的例子來說明這個這個問題。假設x就是兩個(1或2),y有兩類(0或1),有如下如下樣本(1,0)、(1,0)、(1,1)、(2,1)

則 學習到的聯合概率分布(生成模型)如下: 0

111/21/420

1/4而學習到的條件概率分布(判別模型)如下: 0

112/31/320

1在實際分類問題中,判別模型可以直接用來判斷特徵的類別情況,而生成模型,需要加上貝耶斯法則,然後應用到分類中。但是,生成模型的概率分布可以還有其他應用,就是說生成模型更一般更普適。不過判別模型更直接,更簡單。

兩種方法目前交叉較多。由生成式模型可以得到判別式模型,但由判別式模型得不到生成式模型。

關於生成式模型和判別式模型的優缺點的具體分析,

詳見:判別式模型 vs. 生成式模型。

詳址:

生成式模型 vs 判別式模型

對於樣本x,其類別y,即計算 p y x 簡單來說 是對聯合概率 p x,y 進行建模,然後利用貝葉斯公式 p y x p x,y p x 進行計算 樸素貝葉斯 混合高斯模型 隱馬爾科夫模型 hmm 貝葉斯網路 sigmoid belief networks 馬爾科夫隨機場 markov rando...

機器學習之判別式模型和生成式模型

機器學習之判別式模型和生成式模型 判別式模型 discriminative model 是直接對條件概率p y x 建模。常見的判別式模型有線性回歸模型 線性判別分析 支援向量機svm 神經網路 boosting 條件隨機場等。舉例 要確定乙個羊是山羊還是綿羊,用判別模型的方法是從歷史資料中學習到模...

判別式模型與生成式模型

判別式模型 該模型主要對p y x 建模,通過x來 y。在建模的過程中不需要關注聯合概率分布。只關心如何優化p y x 使得資料可分。通常,判別式模型在分類任務中的表現要好於生成式模型。但判別模型建模過程中通常為有監督的,而且難以被擴充套件成無監督的。常見的判別式模型有 logistic regre...