機器學習之判別式模型和生成式模型
判別式模型(discriminative model)是直接對條件概率p(y|x;θ)建模。常見的判別式模型有線性回歸模型、線性判別分析、支援向量機svm、神經網路、boosting、條件隨機場等。
舉例:要確定乙個羊是山羊還是綿羊,用判別模型的方法是從歷史資料中學習到模型,然後通過提取這只羊的特徵來**出這只羊是山羊的概率,是綿羊的概率。
生成式模型(generative model)則會對x和y的聯合分布p(x,y)建模,然後通過貝葉斯公式來求得p(yi|x),然後選取使得p(yi|x)最大的yi,即:
常見的生成式模型有 隱馬爾可夫模型hmm、樸素貝葉斯模型、高斯混合模型gmm、lda、高斯、混合多項式、專家的混合物、馬爾可夫的隨機場
舉例:利用生成模型是根據山羊的特徵首先學習出乙個山羊的模型,然後根據綿羊的特徵學習出乙個綿羊的模型,然後從這只羊中提取特徵,放到山羊模型中看概率是多少,在放到綿羊模型中看概率是多少,哪個大就是哪個。
機器學習 之 生成式模型 VS 判別式模型
摘要 判別式模型,就是只有乙個模型,你把測試用例往裡面一丟,label就出來了,如svm。生成式模型,有多個模型 一般有多少類就有多少個 你得把測試用例分別丟到各個模型裡面,最後比較其結果,選擇最優的作為label,如樸素貝葉斯。本文將從生成式模型與判別式模型的概念,適用環境以及具體模型三個方面分析...
判別式模型和生成式模型
判別式模型與生成式模型 生成式模型 generative model 與判別式模型 discrimitive model 是分類器常遇到的概念,它們的區別在於 對於輸入x,類別標籤y 1.生成式模型估計它們的聯合概率分布p x,y 2.判別式模型估計決策函式f x 或條件概率分布p y x 3.生成...
判別式模型和生成式模型
生成式模型 generative model 與判別式模型 discrimitive model 的區別在於 對於輸入x,類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 判別式模型常見的主要有 邏輯回歸 logistic regression 支援向量機...