生成模型和判別模型

我的理解：

生成模型相當統計全國男女比例，

判別模型相當於抽樣分析乙個省的男女比例作為全國男女比例

假設你現在有乙個分類問題，x是特徵，y是類標記。用生成模型學習乙個聯合概率分布p（x，y），而用判別模型學習乙個條件概率分布p（y|x）。

用乙個簡單的例子來說明這個這個問題。假設x就是兩個（1或2），y有兩類（0或1），有如下如下樣本（1，0）、（1，0）、（1，1）、（2，1）

則學習到的聯合概率分布（生成模型）如下：

-------0------1----

--1-- 1/2---- 1/4

--2-- 0 ------1/4

而學習到的條件概率分布（判別模型）如下：

-------0------1----

--1-- 2/3--- 1/3

--2-- 0--- 1

在實際分類問題中，判別模型可以直接用來判斷特徵的類別情況，而生成模型，需要加上貝耶斯法則，然後應用到分類中。但是，生成模型的概率分布可以還有其他應用，就是說生成模型更一般更普適。不過判別模型更直接，更簡單。

最後說一說兩種模型的優缺點：

生成模型：

優點：1）生成給出的是聯合分布

2）生成模型收斂速度比較快，即當樣本數量較多時，生成模型能更快地收斂於真實模型。

3）生成模型能夠應付存在隱變數的情況，比如混合高斯模型就是含有隱變數的生成方法。

缺點：1）天下沒有免費午餐，聯合分布是能提供更多的資訊，但也需要更多的樣本和更多計算，尤其是為了更準確估計類別條件分布，需要增加樣本的數目，而且類別條件概率的許多資訊是我們做分類用不到，因而如果我們只需要做分類任務，就浪費了計算資源。

2）另外，實踐中多數情況下判別模型效果更好。

判別模型：

優點：1）與生成模型缺點對應，首先是節省計算資源，另外，需要的樣本數量也少於生成模型。

2）準確率往往較生成模型高。

3）由於直接學習

缺點：

1）是沒有生成模型的上述優點。