所謂概率模型,顧名思義,就是將學習任務歸結於計算變數的概率分布的模型。
概率模型非常重要。在生活中,我們經常會根據一些已經觀察到的現象來推測和估計未知的東西——這種需求,恰恰是概率模型的推斷(inference)行為所做的事情。
推斷(inference)的本質是:利用可觀測變數,來推測未知變數的條件分布。
我們下面要講的隱馬爾可夫模型(hmm)和條件隨機場(crf)都是概率模型,之前講過的樸素貝葉斯和邏輯回歸也是概率模型。
概率模型又可以分為兩類:生成模型(generative model)和判別模型(discriminative model)。這兩種模型有什麼不同呢?我們來看一下。
既然概率模型是通過可觀測變數推斷部分未知變數,那麼我們將可觀測變數的集合命名為 o,我們感興趣的未知變數的集合命名為 y。
生成模型學習出來的是 o 與 y 的聯合概率分布p(o
,y
)p(o,y)
p(o,y)
,而判別模型學習的是條件概率分布:p(y
∣o
)p(y|o)
p(y∣o)
。之前我們學過的樸素貝葉斯模型是生成模型,而邏輯回歸則是判別模型。
對於某乙個給定的觀察值 o,運用條件概率p(y
∣o
)p(y|o)
p(y∣o)
很容易求出它對於不同 y 的取值。
那麼當遇到分類問題時,直接就可以運用判別模型——給定 o 對於哪乙個 y 值的條件概率最大——來判斷該觀測樣本應該屬於的類別。
生成模型直接用來給觀測樣本分類有點困難。當然也不是不可行,通過運用貝葉斯法則,可以將生成模型轉化為判別模型,但是這樣顯然比較麻煩。
在分類問題上,判別模型一般更具優勢。不過生成模型自有其專門的用途,下面我們要講的 hmm,就是一種生成模型。
生成模型 VS 判別模型
判別模型 由資料直接學習決策函式y f x 或者條件概率分布p y x 作為 的模型，即判別模型。基本思想是有限樣本條件下建立判別函式，不考慮樣本的產生模型，直接研究 模型。典型的判別模型包括k近鄰，感知級，決策樹，支援向量機等。生成模型 由資料學習聯合概率密度分布p x,y 然後求出條件概率分布p...
生成模型 VS 判別模型
監督學習的任務就是學習乙個模型，應用這一模型，對給定的輸入 相應的輸出，這一模型一般形式為決策函式 y f x y f left x right y f x 或者條件概率分布 p y x p left y mid x right p y x f x,y y f left x y right y f ...
生成模型VS判別模型
監督學習方法可以分為生成方法和判別方法，所學習得到的模型分別為生成模型和判別模型。生成方法由資料學習聯合概率分布p x,y 然後求出條件概率分布p y x 作為 的模型，即生成模型 典型的生成模型有樸素貝葉斯，隱馬爾可夫模型 因為模型表示了給定輸入x和產生輸出y的生成關係，即聯合概率分布p x,y ...