父親有兩個孩子，孩子a和孩子b。孩子a具有特殊的能力，他可以深入學習所有東西。小孩子b也具有特殊的能力他只能學習所見事物之間的差異。
晴天，父親將兩個孩子（孩子a和孩子b）帶到動物園。這個動物園很小，只有獅子和大象兩種動物。他們從動物園出來後，父親給他們看了乙隻動物，問他們「這只動物是獅子還是大象？」
孩子a，孩子突然根據他在動物園內看到的東西，在紙上畫了獅子和大象的影象。他將這兩個影象與之前站立的動物進行了比較，並根據與影象和動物最接近的匹配進行了回答，他回答：「動物是獅子」。
根據所學的不同屬性，孩子b僅知道差異，他回答：「動物是獅子」。
在這裡，我們可以看到他們倆都在尋找動物，但是學習的方式和尋找答案的方式完全不同。在機器學習中，我們通常將kid a稱為生成模型，將kid b稱為判別模型。
通常，判別模型為類之間的決策邊界建模。生成模型顯式地模擬每個類的實際分布。最後，他們倆都在**條件概率p（動物|特徵）。但是，兩種模型都學習不同的概率。
生成模型-學習聯合概率分布p（x，y）。它借助貝葉斯定理**條件概率。判別模型學習條件概率分布p（y | x）。這兩種模型通常用於有監督的學習問題中。
在數學中
訓練分類器涉及估算f：x-> y或p（y | x）
生成分類器
假定p（y），p（x | y）的一些函式形式
直接從訓練資料估計p（x | y），p（y）的引數
使用貝葉斯規則計算p（y | x）
區分性分類器
假設p（y | x）的一些函式形式
直接從訓練資料估計p（y | x）的引數
例子：
生成分類器
樸素貝葉斯
貝葉斯網路
馬爾可夫隨機場
隱馬爾可夫模型（hmm）
判別分類器
邏輯回歸
標量向量機
傳統神經網路
最近的鄰居
生成模型和判別模型
監督學習的結果是得到乙個分類或 模型，應用該模型可以對給定輸入 x 得到相應的輸出 y,即 y f x 或者p y x 根據不 同類對應 的後驗概 率判斷所 屬類別 根據模型是否表示了x 到 y的生成過程將模型分為兩種，生成方式 判別方式。生成模型p y x p x y p x 如樸素貝葉斯法 隱馬...
生成模型與判別模型
監督學習的任務就是學習乙個模型，應用這個模型，對給定的輸入 相應的輸出。這個模型一般為決策函式 y f x 或 條件概率分布 p y x 生成方法 定義 由資料學習聯合概率分布 p x,y 然後由p y x p x,y p x 求出概率分布p y x 基本思想是首先建立樣本的聯合概率密度模型p x,...
生成模型與判別模型
現有的模式分類方法主要分為兩類，一類是生成式方法，比如gmm gaussian mixture model em kmeans 聚類 這類方法主要反映同類資料之間的相似度 一類是判別式方法，比如svm，主要是反映異類資料之間的差異。fisher kernel是想要結合二者的優勢 1，生成式方法可以處...