生成式分類器對比條件式分類器

樸素貝葉斯分類器和最大熵分類器之間的乙個重要差異是他們可以被用來回答問題的型別。樸素貝葉斯分類器是乙個生成式分類器的例子，建立乙個模型，**p(input, label)對的聯合概率。因此，生成式模型可以用來回答下列問題：

1.乙個給定輸入的最可能的標籤是什麼？

2.對於乙個給定輸入，乙個給定標籤有多大可能性

3.最有可能的輸入值是什麼？

4.乙個給定輸入值的可能性有多大？

5.乙個給定輸入具有乙個給定標籤的可能性有多大？

6.對於乙個可能有兩個值中的乙個值（我們不知道是哪個）的輸入，最可能的標籤是什麼？

另一方面，最大熵分類器是條件式分類器的乙個例子。條件式分類器建立模型**p(label|input)——乙個給定輸入值的標籤的概率。因此，條件式模型仍然可以被用來回答問題1和2。然而，條件式模型不能用來回答剩下的問題3-6。

生成式模型不僅可以從聯合概率p(input, label)計算出條件概率p(label|input)，回答1和2問題，還可以回答3-6問題。然而，這種額外的能力意味著它也有更多的自由引數需要學習。因此生成式模型回答問題1和2可能不會與條件式模型一樣好，因為條件式模型需要訓練的引數較少。