(一) 、監督學習下的判別式和生成式模型
監督學習的任務就是學習乙個模型,應用這一模型,對給定特徵的的輸入樣本，**樣本相應的輸出。這個模型的一般形式為決策函式:y=f(x)或者條件概率分布:p(y|x)
決策函式y=f(x)：輸入乙個特徵為x的樣本，模型輸出乙個y，這個y與乙個閾值比較，根據比較結果判定x屬於哪個類別。例如二分類（y1和y2）問題，如果y大於閾值，特徵為x的樣本就屬於類y1，如果ｙ小於閾值就屬於類y2。通過決策函式的輸出直接就能得到特徵為x的樣本對應的類別了。
條件概率分布p(y|x)：輸入乙個特徵為x的樣本，模型通過比較它屬於的所有可能類別的概率，然後輸出概率最大的那個，作為特徵為x的樣本所屬的類別。例如二分類問題，如果模型計算出p(y1|x) > p(y2|x)，那麼就認為特徵為x的樣本是屬於y1類的。
生成方法：先由資料學習聯合概率分布p(x,y)，然後求出條件概率分布p(y|x)作為**的
模型，即生成模型的形式：p(y|x)＝p(y,x) / p(x)．這樣的方法之所以稱為生成方法，是因為模型表示了給定輸入x產生輸出y的生成關係。生成模型有:樸素貝葉斯法和隱馬爾可夫模型。
判別方法：由資料直接學習決策函式f(x)或者條件概率分布p(y|x)作為**的模型，即是判別模型。判別方法關心的是對給定的輸入x，應該**什麼樣的輸出y，它在有限樣本條件下建立判別函式，不考慮樣本的產生模型。典型的判別模型包括**：k近鄰法、感知機、決策樹、邏輯斯諦回歸模型、最大熵模型、支援向量機、提公升方法和條件隨機場。
(二) 、判別式和生成式模型各自的特點
在監督學習中，生成方法和判別方法各有優缺點，適合於不同條件下的學習問題。
生成方法的特點:
生成方法可以還原出聯合概率分布p(x,y)，而判別方法則不能;
生成模型需要學習聯合概率分布p(y,x)和特徵的概率分布p(x)，準確的估計概率分布才能得到更好的模型，而p(x)是基於統計來得到的，直覺告訴我們樣本越多，那麼有限資料體現出的概率分布p(x)越能夠接近無限資料的真實分布，因此生成模型對樣本資料量需求較大。
生成方法的學習收斂速度更快，即當樣本容量增加的時候，學到的模型可以更快地收斂於真
實模型;
當存在隱變數時，仍可以用生成方法學習，此時判別方法就不能用。
判別方法的特點:
判別方法直接學習的是條件概率p(y|x)或決策函式f(x)，直接面對**，往往學習的準確率更高;
判別模型對資料樣本數量要求不嚴格，樣本數量或多或少都能進行模型的學習。
判別模型由於直接學習了p(y|x)或f(x)，可以對資料進行各種程度上的抽象、定義特徵並使用特徵，因此可以簡化學習問題。
判決模型有乙個很關鍵的因素就是要先人為的選擇乙個判決機制（例如lr，svm是構造決策超平面進行分類等等），生成模型基於統計學和貝葉斯理論。
參考：
[1]《神經網路與深度學習》吳岸城
[2]《統計學習方法》李航
[3]
判別式模型和生成式模型
判別式模型與生成式模型 生成式模型 generative model 與判別式模型 discrimitive model 是分類器常遇到的概念，它們的區別在於 對於輸入x，類別標籤y 1.生成式模型估計它們的聯合概率分布p x,y 2.判別式模型估計決策函式f x 或條件概率分布p y x 3.生成...
判別式模型和生成式模型
生成式模型 generative model 與判別式模型 discrimitive model 的區別在於 對於輸入x，類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 判別式模型常見的主要有 邏輯回歸 logistic regression 支援向量機...
判別式模型和生成式模型
區別在於 對於輸入x，類別標籤y 生成式模型估計它們的聯合概率分布p x,y 判別式模型估計條件概率分布p y x 生成式模型可以根據貝葉斯公式得到判別式模型，但反過來不行。判別式模型常見的主要有 linear regression 線性回歸 logistic regression 最大熵模型 sv...