比如男女的二分類問題來說,判別模型就是要找到區分男女的劃分邊界,而生成模型則是要找到可以描述男女這兩類資料分布的模型,可以用下面這張圖簡單概括一下
判別模型學習出來的是這裡的劃分邊界,而生成模型要學習的是男女的資料分布。生成模型本身並不具有分別功能,但由於生成模型詳細描述了資料本身的特徵,稍加處理便可以推出判別模型進行分類。但是判別模型因為本身只是劃分規則,並不包含對資料的描述,所以無法倒推出生成模型。
同時,需要注意的是,生成模型因為要估計資料本身的分布,需要資料盡可能的充分,而判別模型在這方面的要求則相對寬鬆,能夠學習得到相應劃分規則即可。
概括一下:
判別模型: 有限樣本->判別模型=分類(回歸)模型->分類(回歸)
生成模型:無限樣本->生成模型->分類(回歸)模型->分類(回歸)
生成模型和判別模型都可以基於概率模型來描述
生成模型的主要特點是:從統計的角度表示資料的分布情況,能夠反映同類資料本身的相似度。它只關注類別本身的特性,不關心類別之間的分類界限在哪
優點:
包含的資訊要比判別模型豐富,
研究單類問題比判別模型靈活性強
模型可以通過增量學習得到
缺點:
基於較強的分布假設
學習和計算過程比較複雜
生成模型:高斯混合模型,樸素貝葉斯,隱馬爾可夫模型,貝葉斯網路
生成模型和判別模型
監督學習的結果是得到乙個分類或 模型,應用該模型可以對給定輸入 x 得到相應的輸出 y,即 y f x 或者p y x 根據不 同類對應 的後驗概 率判斷所 屬類別 根據模型是否表示了x 到 y的生成過程將模型分為兩種,生成方式 判別方式。生成模型p y x p x y p x 如樸素貝葉斯法 隱馬...
生成模型和判別模型
我的理解 生成模型相當統計全國男女比例,判別模型相當於抽樣分析乙個省的男女比例作為全國男女比例 假設你現在有乙個分類問題,x是特徵,y是類標記。用生成模型學習乙個聯合概率分布p x,y 而用判別模型學習乙個條件概率分布p y x 用乙個簡單的例子來說明這個這個問題。假設x就是兩個 1或2 y有兩類 ...
生成模型和判別模型
監督學習的任務就是學習乙個模型,應用這一模型,對給定的輸入 相應的輸出,這一模型的一般形式為決策函式 y f x 或者條件概率分布 p y x 監督學習方法有可以分為生成方法和判別方法,所學到的模型分別稱為生成模型和判別模型 生成方法由資料學習聯合分布概率p x,y 然後求出條件概率分布p y x ...