統計學習方法四 樸素貝葉斯分類

樸素貝葉斯分類

1，基本概念

2，演算法流程

關鍵點：理解先驗概率，條件概率，最大後驗概率，下面是以極大似然估計的

3，演算法改進（貝葉斯估計）

上述用極大似然估計可能會出現所要估計的概率值為0的情況，改進方法:

先驗概率貝葉斯估計：k表示類別數，λ為引數：0時為極大似然估計；1時為拉普拉斯平滑

條件概率貝葉斯估計：s為某個特徵的離散種類

4，總結

樸素貝葉斯的主要優點有：

1）樸素貝葉斯模型發源於古典數學理論，有穩定的分類效率。

2）對小規模的資料表現很好，能個處理多分類任務，適合增量式訓練，尤其是資料量超出記憶體時，我們可以一批批的去增量訓練。

3）對缺失資料不太敏感，演算法也比較簡單，常用於文字分類。

樸素貝葉斯的主要缺點有：　　　

1） 理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為樸素貝葉斯模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，在屬性個數比較多或者屬性之間相關性較大時，分類效果不好。而在屬性相關性較小時，樸素貝葉斯效能最為良好。對於這一點，有半樸素貝葉斯之類的演算法通過考慮部分關聯性適度改進。

2）需要知道先驗概率，且先驗概率很多時候取決於假設，假設的模型可以有很多種，因此在某些時候會由於假設的先驗模型的原因導致**效果不佳。

3）由於我們是通過先驗和資料來決定後驗的概率從而決定分類，所以分類決策存在一定的錯誤率。

4）對輸入資料的表達形式很敏感。

樸素貝葉斯適用場景：

1）不同維度之間相關性較小，離散屬性的資料

統計學習方法四 樸素貝葉斯

結合之前的部落格 一 什麼是樸素貝葉斯？樸素貝葉斯是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的資料集，首先基於特徵條件獨立假設學習輸入 輸出的聯合概率分布 然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y 特徵 1 多分類 2 生成學習方法二 學習與分類 1 條件獨...

統計學習方法 樸素貝葉斯法

乙個事件概率依賴於另外乙個事件 已發生 的度量。p b a 的意義是在a發生的情況下b事件發生的概率。這就是條件概率。p ab p a times p b a 代表的意義是，ab事件同時發生的概率等於事件a發生的概率乘以在a發生條件下b事件發生的概率。p b a frac 事件序列發生且彼此相互依賴...

統計學習方法 樸素貝葉斯 python實現

樸素貝葉斯演算法 首先訓練樸素貝葉斯模型，對應演算法4.1 1 分別計算先驗概率及條件概率，分別存在字典priorp和condp中 初始化函式中定義 其中，計算乙個向量各元素頻率的操作反覆出現，定義為count函式。初始化函式定義了先驗概率和條件概率字典，並訓練模型 def init self,da...