監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入**相應的輸出。這個模型一般為決策函式：y=f(x) 或 條件概率分布：p(y|x)。
生成方法
定義
由資料學習聯合概率分布
p(x,y), 然後由p(y|x)=p(x, y) / p(x)，求出概率分布p(y|x)。
基本思想是首先建立樣本的聯合概率密度模型p(x,y)，然後再得到後驗概率p(y|x)，再利用它進行分類。
該方法表示了給定輸入x產生輸出y的生成關係。
典型模型
樸素貝葉斯方法、隱馬爾可夫模型
特點
1. 生成方法可以還原出聯合概率分布
p(x,y),而判別方法不能；
2. 生成方法的學習收斂速度更快，當樣本容量增加的時候，學到的模型可以更快的收斂於真實模型；
3. 當存在隱變數時，仍可以利用生成方法學習，此時判別方法不能用。
（當找不到引起某一現象的原因時，就把這個在起作用但是無法確定的因素，叫「隱變數」）
。
判別方法
由生成模型可以得到判別模型，但由判別模型得不到生成模型。 生成演算法嘗試去找到底這個資料是怎麼生成的（產生的），然後再對乙個訊號進行分類。基於你的生成假設，那麼那個類別最有可能產生這個訊號，這個訊號就屬於那個類別。判別模型不關心資料是怎麼生成的，它只關心訊號之間的差別，然後用差別來簡單對給定的乙個訊號進行分類。定義
由資料直接學習
決策函式y=f(x)
或條件概率分布
p(y|x)
作為**模型，即判別模型。
基本思想是在有限樣本條件下建立判別函式，不考慮樣本的產生模型，直接研究**模型。
判別方法關心的是對於給定的輸入
x，應該**什麼樣的輸出y。
典型模型
k近鄰法、感知機、決策樹、邏輯斯諦回歸模型、最大熵模型、支援向量機、提公升方法、條件隨機場
特點
1. 判別方法直接學習的是
決策函式y=f(x)
或條件概率分布
p(y|x)
，直接面對**，往往學習準確率更高；
2. 由於直接學習
p(y|x)
或f(x)
，可以對資料進行各種程度上的抽象、定義特徵並使用特徵，因此可以簡化學習問題。
【參考】
1. 2.
生成模型與判別模型
現有的模式分類方法主要分為兩類，一類是生成式方法，比如gmm gaussian mixture model em kmeans 聚類 這類方法主要反映同類資料之間的相似度 一類是判別式方法，比如svm，主要是反映異類資料之間的差異。fisher kernel是想要結合二者的優勢 1，生成式方法可以處...
生成模型與判別模型
監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入 相應的輸出。這個模型一般為決策函式 y f x 或 條件概率分布 p y x 生成方法 定義 由資料學習聯合概率分布 p x,y 然後由p y x 求出概率分布 p y x 該方法表示了給定輸入 x產生輸出 y的生成關係。典型模型 樸素貝葉...
生成模型與判別模型
判別方法 生成方法 生成模型 判別方法 判別模型生成方法由資料學習聯合概率分布p x,y 然後求出條件概率分布p y x 作為 的模型，即生成模型 p y x p x,y p x 這樣的方法之所以稱為生成方法，是因為模型表示了給定輸入x產生輸出y的生成關係 典型的生成模型有 樸素貝葉斯法和隱馬爾科夫...