資料探勘之樸素貝葉斯定理

2021-08-20 12:30:31 字數 1559 閱讀 6493

樸素貝葉斯公式:

首先這個公式為什麼叫樸素貝葉斯呢?他是英國數學家托馬斯·貝葉斯(thomas bayes)在2023年發表的一篇**中首次提出的這個定理。

首先我們了解下」條件概率」: 在事件b發生的情況下,事件a發生的概率,用p(a|b)表示

對條件概率進行變形:

「先驗概率」:p(a),即在b事件發生之前,對a事件概率的乙個判斷

「後驗概率」:p(a|b),即在b事件發生之後,對a事件概率的重新評估

「可能性函式」:p(b|a)/p(b),乙個調整因子,使得預估概率更接近真實概率

所以:

舉例:兩個一模一樣的碗,一號碗有30顆水果糖和10顆巧克力糖,二號碗有水果糖和巧克力糖各20顆。現在隨機選擇乙個碗,從中摸出一顆糖,發現是水果糖。請問這顆水果糖來自一號碗的概率有多大?

我們假定,h1表示一號碗h2表示二號碗。由於這兩個碗是一樣的,所以p(h1)=p(h2),也就是說,在取出水果糖之前,這兩個碗被選中的概率相同。因此,p(h1)=0.5,我們把這個概率就叫做」先驗概率」,即沒有做實驗之前,來自一號碗的概率是0.5

p(h1)=0.5

p(e|h1)=0.75

貝葉斯:p(h1|e)= p(e|h1)*p(h1) / p(e)

得出 p = 0.6

這個結果表明,來自一號碗的概率是0.6 也說明了下,取出水果糖之後,h1事件的可能性得到增強了

樸素貝葉斯定理的應用

對於下面的資料集,求x=(2,s)的類的標記

對於這個問題,也就是求解:

p( y= 1 | x = (2,s) )

p( y=-1 | x = (2,s) )

哪個概率值更大,就取哪乙個。

兩個公式展開,如下:

分母相同,比較分子大小

求解過程:

參考:

李航 《統計學習方法》

阮一峰的

貝葉斯推斷 樸素貝葉斯分類 貝葉斯定理

近期,由於專案需求,需要用到貝葉斯定理及其相關知識,於是又系統的學習了一下,順便做一下筆記。非常詳細的注釋 coding utf 8 import copy 用於深度拷貝,適用於複雜的資料結構 複雜的資料結構看不懂,一定要在紙上畫圖,畫出來就一目了然了 class native bayes def ...

資料探勘之樸素貝葉斯演算法

樸素貝葉斯演算法思想 舉個例子,假如某天是否要出去打網球,有兩種選擇 是和否,即最後分成兩個類別。但是受3個因素的影響,分別是天氣 溫度和是否有風。天氣有3個值 晴 多雲和有雨。溫度有3個值 高,正常和低。是否有風有兩個值 是和否。假如樣本a是,樣本b是,還有其他的樣本,可以得到樣本的某些先驗概率,...

機器學習筆記之貝葉斯定理的通俗理解

樸素貝葉斯是一種基於貝葉斯定理的簡單概率分類器 分類又被稱為監督式學習,所謂監督式學習即從已知樣本資料中的特徵資訊去推測可能出現的輸出以完成分類,反之聚類問題被稱為非監督式學習 樸素貝葉斯在處理文字資料時可以得到較好的分類結果,所以它被廣泛應用於文字分類 垃圾郵件過濾 自然語言處理等場景。了解貝葉斯...