是基於樸素貝葉斯定理分類器,其計算過程是在訓練階段的時候,先計算每個分類的先驗概率p(a),和各個分類下面特徵屬性的條件概率p(b|a)。**的過程 ,反推特徵-分類的條件概率(a|b)。取最大概率作為分類結果。
貝葉斯定理:已知a(分類)的條件概率,b(某個特徵)在a發生後的條件概率,求a在b發生後的條件概率 p(a|b)=p(b|a)*p(a)/p(b)
其實就是乙個條件概率轉換的過程。
條件概率公式:p
(b|a)=p
(ab)/p
(a) —同時發生的概率/先驗概率
可調參:平滑係數 —分類的先驗概率 和計算個個分類下面特徵屬性的條件概率
隨機現象
在個別實驗中,其結果存在不確認性,在大量重複實驗中結果又具有統計規律現象,我們稱之為隨機現象。
術語:
p(a):隨機事件a的先驗概率或邊緣概率
p(b):隨機事件a的先驗概率或邊緣概率,也被稱作為標準化常量
p(a|b):已知事件b發生後a的概率
p(b|a):已知事件a發生後b的概率
條件概率公式:
p(b|a)=p(ab)/p(a)
—同時發生的概率/
先驗概率
例子:將一枚硬幣拋兩次,設事件a為「至少有一次為h」,事件b為「兩次為同一面」。現在來求已知事件a已經發生的條件下事件b發生的概率。
這裡樣本空間為s= a= b= a和b同時滿足樣本空間=
p
(b|a
)=1/3
;事實上,設實驗的基本事件總數為n,a所包含的基本事件數量為m ab基本事件數為k
p(b|a)=k/m=k/n / m/n=p(ab)/p(a)
p(a)=3/4 ;p(ab)=1/4
因此反推公式:p(b|a)=p(ab)/p(a) —> ab同時發生的概率 / a發生的概率
空間劃分:
定義:設s為實驗e的樣本空間,b1,b2,b3..,bn 為e的一組事件,若任意bn沒有交集,且所以bn並集為s,則稱b1,b2,b3,..bn 是樣本空間s的乙個劃分。
例:樣本空間s=; 事件b1= b2= b3=是s的乙個劃分
全概率公式:
設實驗e的樣本空間為s,a為e的事件,b1,b2,b3,..bn 是s的乙個劃分;
反推貝葉斯公式(由條件概率公式和全概率公式反推)
p(b|a)*p(a)=p(a|b)*p(b) ===> p(a|b)=p(b|a)*p(a)/p(b)
樸素貝葉斯定理:
假設h[1],h[2]…,h[n]互斥且構成乙個完全事件,已知它們的概率p(h[i]),i=1,2,…,n,現觀察到某事件a與h[1],h[2]…,h[n]相伴隨機出現,且已知條件概率p(a/h[i]),求p(h[i]/a)。
貝葉斯公式
貝葉斯定理由 英國數學家貝葉斯 thomas bayes 1702 1763 發展,用來描述兩個條件 概率之間的關係,比如 p a b 和 p b a 按照 乘法法則 p a b p a p b a p b p a b 可以立刻匯出 如上公式也可變形為 p b a p a b p b p a 例如 ...
貝葉斯公式
貝葉斯定理由英國 數學家貝葉斯 thomas bayes 1702 1763 發展,用來描述兩個條件 概率之間的關係,比如 p a b 和 p b a 按照乘法法則 p a b p a p b a p b p a b 可以立刻匯出 貝葉斯定理公式 p a b p b a p a p b 如上公式也可...
貝葉斯公式
先驗概率 根據以往的經驗和分析得到的概率 後驗概率 在考慮了乙個事實之後的條件概率 貝葉斯公式 就是先驗概率和後驗概率的關係。關於貝葉斯公式的推導 ab同時發生 可以有兩種考慮 在a發生的前提下b也發生了 在b發生的前提下a也發生了 p ab p a p b a p b p a b 這裡p a p ...