生成模型與判別模型

監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入**相應的輸出。這個模型一般為決策函式：y=f(x) 或 條件概率分布：p(y|x)。

生成方法

定義

由資料學習聯合概率分布

p(x,y),

然後由p(y|x)=

求出概率分布

p(y|x)

。該方法表示了給定輸入

x產生輸出

y的生成關係。

典型模型

樸素貝葉斯方法、隱馬爾可夫模型

特點

生成方法可以還原出聯合概率分

p(x,y),

而判別方法不能；生成方法的學習收斂速度更快，當樣本容量增加的時候，學到的模型可以更快的收斂於真實模型；當存在隱變數時，仍可以利用生成方法學習，此時判別方法不能用。

注釋

當我們找不到引起某一現象的原因的時候，我們就把這個在起作用，但是，無法確定的因素，叫「隱變數」

判別方法

定義

由資料直接學習

決策函式

y=f(x)

或條件概率分布

p(y|x)

作為**模型，即判別模型。判別方法關心的是對於給定的輸入

x，應該**什麼樣的輸出y。

典型模型

k近鄰法、感知機、決策樹、邏輯斯諦回歸模型、最大熵模型、支援向量機、提公升方法、條件隨機場

特點

判別方法直接學習的是

決策函式

y=f(x)

或條件概率分布

p(y|x)

，直接面對**，往往學習準確率更高；由於直接學習

p(y|x)

或f(x)

，可以對資料進行各種程度上的抽象、定義特徵並使用特徵，因此可以簡化學習問題。

生成模型與判別模型

監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入 相應的輸出。這個模型一般為決策函式 y f x 或 條件概率分布 p y x 生成方法 定義 由資料學習聯合概率分布 p x,y 然後由p y x p x,y p x 求出概率分布p y x 基本思想是首先建立樣本的聯合概率密度模型p x,...

生成模型與判別模型

現有的模式分類方法主要分為兩類，一類是生成式方法，比如gmm gaussian mixture model em kmeans 聚類 這類方法主要反映同類資料之間的相似度 一類是判別式方法，比如svm，主要是反映異類資料之間的差異。fisher kernel是想要結合二者的優勢 1，生成式方法可以處...

生成模型與判別模型

判別方法 生成方法 生成模型 判別方法 判別模型生成方法由資料學習聯合概率分布p x,y 然後求出條件概率分布p y x 作為 的模型，即生成模型 p y x p x,y p x 這樣的方法之所以稱為生成方法，是因為模型表示了給定輸入x產生輸出y的生成關係 典型的生成模型有 樸素貝葉斯法和隱馬爾科夫...