對於統計學只是皮毛認識,在學校時根本不重視,如今機器學習幾乎以統計學為基礎發展起來的,頭疼的緊,如今還得琢磨基礎概念。
1、我自己的理解:
1)先驗:統計歷史上的經驗而知當下發生的概率;
2)後驗:當下由因及果的概率;
2、網上有個例子說的透徹:
1)先驗——根據若干年的統計(經驗)或者氣候(常識),某地方下雨的概率;
2)似然——下雨(果)的時候有烏雲(因/證據/觀察的資料)的概率,即已經有了果,對證據發生的可能性描述;
3)後驗——根據天上有烏雲(原因或者證據/觀察資料),下雨(結果)的概率;
後驗 ~ 先驗*似然 : 存在下雨的可能(先驗),下雨之前會有烏雲(似然)~ 通過現在有烏雲推斷下雨概率(後驗);
3、再來一例:
先驗概率可理解為統計概率,後驗概率可理解為條件概率。
設定背景:酒至半酣,忽陰雲漠漠,驟雨將至。
情景一:
「天不會下雨的,歷史上這裡下雨的概率是20%」----先驗概率
「但陰雲漠漠時,下雨的概率是80%」----後驗概率
情景二:
「飛飛別急著走啊,歷史上酒桌上死人的概率只有5%「----先驗概率
」可他是曹操啊,夢裡都殺人「----後驗概率
4、吃瓜群眾的例子
用「瓜熟蒂落」這個因果例子,從概率(probability)的角度說一下,
先驗概率,就是常識、經驗所透露出的「因」的概率,即瓜熟的概率。應該很清楚。
後驗概率,就是在知道「果」之後,去推測「因」的概率,也就是說,如果已經知道瓜蒂脫落,那麼瓜熟的概率是多少。後驗和先驗的關係可以通過貝葉斯公式來求。也就是:
p(瓜熟 | 已知蒂落)=p(瓜熟)×p(蒂落 | 瓜熟)/ p(蒂落)
似然函式,是根據已知結果去推測固有性質的可能性(likelihood),是對固有性質的擬合程度,所以不能稱為概率。在這裡就是說,不要管什麼瓜熟的概率,只care瓜熟與蒂落的關係。如果蒂落了,那麼對瓜熟這一屬性的擬合程度有多大。似然函式,一般寫成l(瓜熟 | 已知蒂落),和後驗概率非常像,區別在於似然函式把瓜熟看成乙個肯定存在的屬性,而後驗概率把瓜熟看成乙個隨機變數。
再扯一扯似然函式和條件概率的關係。似然函式就是條件概率的逆反。意為:
l(瓜熟 | 已知蒂落)= c × p(蒂落 | 瓜熟),c是常數。具體來說,現在有1000個瓜熟了,落了800個,那條件概率是0.8。那我也可以說,這1000個瓜都熟的可能性是0.8c。
注意,之所以加個常數項,是因為似然函式的具體值沒有意義,只有看它的相對大小或者兩個似然值的比率才有意義,後面還有例子。
同理,如果理解上面的意義,分布就是一「串」概率。
先驗分布:現在常識不但告訴我們瓜熟的概率,也說明了瓜青、瓜爛的概率
後驗分布:在知道蒂落之後,瓜青、瓜熟、瓜爛的概率都是多少
似然函式:在知道蒂落的情形下,如果以瓜青為必然屬性,它的可能性是多少?如果以瓜熟為必然屬性,它的可能性是多少?如果以瓜爛為必然屬性,它的可能性是多少?似然函式不是分布,只是對上述三種情形下各自的可能性描述。
那麼我們把這三者結合起來,就可以得到:後驗分布 正比於 先驗分布 × 似然函式。先驗就是設定一種情形,似然就是看這種情形下發生的可能性,兩者合起來就是後驗的概率。
至於似然估計:
就是不管先驗和後驗那一套,只看似然函式,現在蒂落了,可能有瓜青、瓜熟、瓜爛,這三種情況都有個似然值(l(瓜青):0.6、l(瓜熟):0.8、l(瓜爛):0.7),我們採用最大的那個,即瓜熟,這個時候假定瓜熟為必然屬性是最有可能的。
5、分布解:
先驗分布:根據一般的經驗認為隨機變數應該滿足的分布
後驗分布:通過當前訓練資料修正的隨機變數的分布,比先驗分布更符合當前資料
似然估計:已知訓練資料,給定了模型,通過讓似然性極大化估計模型引數的一種方法
後驗分布往往是基於先驗分布和極大似然估計計算出來的。
先驗概率 後驗概率
貝葉斯公式的直觀理解 先驗概率 後驗概率 前言 以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.先驗概率 是指根據以往經驗和分析得到的概率.1 意思是說...
先驗概率,後驗概率
一 先驗概率 1.1 定義 直觀理解,所謂 先 就是在事情之前,即在事情發生之前事情發生的概率。是根據以往經驗和分析得到的概率。1.2 例子 比如拋硬幣,我們都認為正面朝上的概率是0.5,這就是一種先驗概率,在拋硬幣前,我們只有常識。這個時候事情還沒發生,我們進行概率判斷。所謂的先驗概率是對事情發生...
先驗概率and後驗概率
from and 先驗概率 事件發生前的預判概率。可以是基於歷史資料的統計,可以由背景常識得出,也可以是人的主觀觀點給出。一般都是單獨事件概率,如p x p y 後驗概率 事件發生後求的反向條件概率 或者說,基於先驗概率求得的反向條件概率。概率形式與條件概率相同。條件概率 乙個事件發生後另乙個事件發...