條件概率公式:p(a|b)=p(ab)/p(b) p(b)≠0
可推得乘法法則:p(ab)=p(a|b)*p(b)
p(ab)=p(a|b)*p(b)=p(b|a)*p(a)
可得貝葉斯公式,也稱貝葉斯定理、貝葉斯法則:
p(a|b)=p(b|a)p(a)/p(b)
通常,事件a在事件b(發生)的條件下的概率,與事件b在事件a的條件下的概率是不一樣的;然而,這兩者是有確定的關係,貝葉斯法則就是這種關係的陳述。
在貝葉斯法則中,每個名詞都有約定俗成的名稱:
p(a)是a的先驗概率或邊緣概率。之所以稱為"先驗"是因為它不考慮任何b方面的因素。
p(a|b)是已知b發生後a的條件概率,也由於得自b的取值而被稱作a的後驗概率。
p(b|a)是已知a發生後b的條件概率,也由於得自a的取值而被稱作b的後驗概率。
p(b)是b的先驗概率或邊緣概率,也作標準化常量(normalized constant)。
bayes法則可表述為:
後驗概率 = (似然度 * 先驗概率)/標準化常量,也就是說,後驗概率與先驗概率和似然度的乘積成正比。
另外,比例pr(b|a)/pr(b)也有時被稱作標準似然度(standardised likelihood),
bayes法則可表述為:後驗概率 = 標準似然度 * 先驗概率。
例如:一座別墅在過去的 20 年裡一共發生過 2 次被盜,別墅的主人有一條狗,狗平均每週晚上叫 3 次,在盜賊入侵時狗叫的概率被估計為 0.9,問題是:在狗叫的時候發生入侵的概率是多少?
我們假設 a 事件為狗在晚上叫,b 為盜賊入侵,則以天為單位統計,p(a) = 3/7,p(b) = 2/(20365) = 2/7300,p(a|b) = 0.9,按照公式很容易得出結果:p(b|a) = 0.9(2/7300) / (3/7) = 0.00058
另乙個例子,
現分別有 a、b 兩個容器,在容器 a 裡分別有 7 個紅球和 3 個白球,在容器 b 裡有 1 個紅球和 9 個白球,現已知從這兩個容器裡任意抽出了乙個紅球,問這個球來自容器 a 的概率是多少?
假設已經抽出紅球為事件 b,選中容器 a 為事件 a,則有:p(b) = 8/20,p(a) = 1/2,p(b|a) = 7/10,按照公式,則有:p(a|b) = (7/10)*(1/2) / (8/20) = 0.875
先驗概率 後驗概率 貝葉斯公式 似然函式
在機器學習中,這些概念總會涉及到,但從來沒有真正理解透徹他們之間的聯絡。下面打算好好從頭捋一下這些概念,備忘。先驗概率僅僅依賴於主觀上的經驗估計,也就是事先根據已有的知識的推斷,先驗概率就是沒有經過實驗驗證的概率,根據已知進行的主觀臆測。如拋一枚硬幣,在拋之前,主觀推斷p 正面朝上 0.5。後驗概率...
先驗概率,後驗概率,條件概率,貝葉斯
from and 先驗概率 事件發生前的預判概率。可以是基於歷史資料的統計,可以由背景常識得出,也可以是人的主觀觀點給出。一般都是單獨事件概率,如p x p y 後驗概率 事件發生後求的反向條件概率 或者說,基於先驗概率求得的反向條件概率。概率形式與條件概率相同。條件概率 乙個事件發生後另乙個事件發...
先驗概率 後驗概率 似然估計和貝葉斯公式
大概總結 先驗概率為p 因 後驗概率為p 因 果 似然估計為p 果 因 證據為p 果 貝葉斯公式為後驗概率 似然估計 先驗概率 證據 即p 因 果 p 果 因 p 因 p 果 貝葉斯估計的作用是通過結果 就是觀測值x 來判斷原因 就是引數 的概率,會把原因的概率提高,而普通的判斷原因的概率就是先驗概...