決策函式y=f(x)：你輸入乙個x，它就輸出乙個y，這個y與乙個閾值比較，根據比較結果判定x屬於哪個類別。例如兩類（w1和w2）分類問題，如果y大於閾值，x就屬於類w1，如果小於閾值就屬於類w2。這樣就得到了該x對應的類別了。
你輸入乙個x，它通過比較它屬於所有類的概率，然後輸出概率最大的那個作為該x對應的類別。例如：如果p(w1|x)大於p(w2|x)，那麼我們就認為x是屬於w1類的。
兩個模型都可以實現對給定的輸入x**相應的輸出y的功能。實際上通過條件概率分布p(y|x)進行**也是隱含著表達成決策函式y=f(x)的形式的。
而同樣，很神奇的一件事是，實際上決策函式y=f(x)也是隱含著使用p(y|x)的。因為一般決策函式y=f(x)是通過學習演算法使你的**和訓練資料之間的誤差平方最小化，而貝葉斯告訴我們，雖然它沒有顯式的運用貝葉斯或者以某種形式計算概率，但它實際上也是在隱含的輸出極大似然假設（map假設）。也就是說學習器的任務是在所有假設模型有相等的先驗概率條件下，輸出極大似然假設。
生成模型：無窮樣本==》概率密度模型 = 產生模型==》**
生成方法由資料學習聯合概率分布p(x,y)，然後求出條件概率分布p(y|x)=p(x,y)/p(x)作為**的模型。這樣的方法之所以成為生成方法，是因為模型表示了給定輸入x產生輸出y的生成關係。用於隨機生成的觀察值建模，特別是在給定某些隱藏引數情況下。典型的生成模型有：樸素貝葉斯法、馬爾科夫模型、高斯混合模型。這種方法一般建立在統計學和bayes理論的基礎之上。
判別模型：有限樣本==》判別函式 = **模型==》**判別方法由資料直接學習決策函式f(x)或者條件概率分布p(y|x)作為**的模型，即判別模型。判別方法關心的是對給定的輸入x，應該**什麼樣的輸出y。典型的判別模型包括：k近鄰法、感知機、決策樹、邏輯斯蒂回歸模型、最大熵模型、支援向量機、boosting方法和條件隨機場等。判別模型利用正負例和分類標籤，關注在判別模型的邊緣分布。
（1）訓練時，二者優化準則不同生成模型優化訓練資料的聯合分布概率；
判別模型優化訓練資料的條件分布概率，判別模型與序列標記問題有較好的對應性。
（2）對於觀察序列的處理不同
生成模型中，觀察序列作為模型的一部分；
判別模型中，觀察序列只作為條件，因此可以針對觀察序列設計靈活的特徵。
（3）訓練複雜度不同
判別模型訓練複雜度較高。
（4）是否支援無指導訓練
生成模型支援無指導訓練。
（5）本質區別
discriminative model 估計的是條件概率分布(conditional distribution)p(class|context)
generative model 估計的是聯合概率分布（joint probability distribution）p()
另外，由生成模型可以得到判別模型，但由判別模型得不到生成模型。
由於之前用camshift方法做人臉的跟蹤，這裡看到了有關跟蹤演算法的說明，特此陳述一下。
跟蹤演算法一般來說可以分為兩類：基於外觀模型的生成模型或者基於外觀模型的判別模型。
生成模型：一般是學習乙個代表目標的模型，然後通過它去搜尋影象區域，然後最小化重構誤差。類似於生成模型描述乙個目標，然後就是模式匹配了，在影象中找到和這個模型最匹配的區域，就是目標了。
判別模型：將跟蹤問題看成乙個二分類問題，然後找到目標和背景的決策邊界。它不管目標是怎麼描述的，那只要知道目標和背景的差別在哪，然後你給乙個影象，它看它處於邊界的那一邊，就歸為哪一類。
統計學習方法 李航著，清華大學出版社
csdn部落格 生成模型與判別模型
github主頁(
csdn部落格(
機器學習 生成模型和判別模型
摘要 判別式模型，就是只有乙個模型，你把測試用例往裡面一丟，label就出來了，如svm。生成式模型，有多個模型 一般有多少類就有多少個 你得把測試用例分別丟到各個模型裡面，最後比較其結果，選擇最優的作為label，如樸素貝葉斯。本文將從生成式模型與判別式模型的概念，適用環境以及具體模型三個方面分析...
機器學習 生成模型與判別模型詳解
3.如何選擇哪種模型 生成模型 generative model,gm 先對聯合概率p x p x,p x,建模，然後再求取後驗概率模型。判別模型 discriminative model,dm 從資料集d中直接估計後驗概率模型 p 1 x p 2 x p n x p 1 x p 2 x p n x...
生成模型和判別模型
監督學習的結果是得到乙個分類或 模型，應用該模型可以對給定輸入 x 得到相應的輸出 y,即 y f x 或者p y x 根據不 同類對應 的後驗概 率判斷所 屬類別 根據模型是否表示了x 到 y的生成過程將模型分為兩種，生成方式 判別方式。生成模型p y x p x y p x 如樸素貝葉斯法 隱馬...