先驗概率,似然估計和後驗概率

2021-08-08 02:28:45 字數 1421 閱讀 5562

先驗——根據若干年的統計(經驗)或者氣候(常識),某地方下雨的概率;

似然——下雨(果)的時候有烏雲(因 or 證據 or 觀察的資料)的概率,即已經有了果,對證據發生的可能性描述;

後驗——根據天上有烏雲(原因或者證據 or 觀察資料),下雨(結果)的概率;

後驗 ~ 先驗*似然 : 存在下雨的可能(先驗),下雨之前會有烏雲(似然)~ 通過現在有烏雲推斷下雨概率(後驗);

用「瓜熟蒂落」這個因果例子,從概率(probability)的角度說一下,

先驗概率,就是常識、經驗所透露出的「因」的概率,即瓜熟的概率。應該很清楚。

後驗概率,就是在知道「果」之後,去推測「因」的概率,也就是說,如果已經知道瓜蒂脫落,那麼瓜熟的概率是多少。後驗和先驗的關係可以通過貝葉斯公式來求。也就是:

p(瓜熟 | 已知蒂落)=p(瓜熟)×p(蒂落 | 瓜熟)/ p(蒂落)

似然函式,是根據已知結果去推測固有性質的可能性(likelihood),是對固有性質的擬合程度,所以不能稱為概率。在這裡就是說,不要管什麼瓜熟的概率,只care瓜熟與蒂落的關係。如果蒂落了,那麼對瓜熟這一屬性的擬合程度有多大。似然函式,一般寫成l(瓜熟 | 已知蒂落),和後驗概率非常像,區別在於似然函式把瓜熟看成乙個肯定存在的屬性,而後驗概率把瓜熟看成乙個隨機變數。

再扯一扯似然函式和條件概率的關係。似然函式就是條件概率的逆反。意為:

l(瓜熟 | 已知蒂落)= c × p(蒂落 | 瓜熟),c是常數。具體來說,現在有1000個瓜熟了,落了800個,那條件概率是0.8。那我也可以說,這1000個瓜都熟的可能性是0.8c。

注意,之所以加個常數項,是因為似然函式的具體值沒有意義,只有看它的相對大小或者兩個似然值的比率才有意義,後面還有例子。

同理,如果理解上面的意義,分布就是一「串」概率。

先驗分布:現在常識不但告訴我們瓜熟的概率,也說明了瓜青、瓜爛的概率

後驗分布:在知道蒂落之後,瓜青、瓜熟、瓜爛的概率都是多少

似然函式:在知道蒂落的情形下,如果以瓜青為必然屬性,它的可能性是多少?如果以瓜熟為必然屬性,它的可能性是多少?如果以瓜爛為必然屬性,它的可能性是多少?似然函式不是分布,只是對上述三種情形下各自的可能性描述。

那麼我們把這三者結合起來,就可以得到:後驗分布 正比於 先驗分布 × 似然函式。先驗就是設定一種情形,似然就是看這種情形下發生的可能性,兩者合起來就是後驗的概率。

至於似然估計

就是不管先驗和後驗那一套,只看似然函式,現在蒂落了,可能有瓜青、瓜熟、瓜爛,這三種情況都有個似然值(l(瓜青):0.6、l(瓜熟):0.8、l(瓜爛):0.7),我們採用最大的那個,即瓜熟,這個時候假定瓜熟為必然屬性是最有可能的。

先驗概率 後驗概率 似然函式

以下以因果關係來刻畫先驗概率 後驗概率以及似然概率的關係。先驗概率 根據經驗得到的結果的概率 已知結果 後驗概率 在知道原因的情況下,求結果發生的概率 執因求果 似然概率 知道結果的情況下,求最可能導致結果發生的原因 知果求因 舉個例子 已知車禍有一定概率會導致堵車,此處車禍是因,堵車是果。p 堵車...

先驗概率 似然函式與後驗概率

先驗概率 prior probability 在貝葉斯統計中,先驗概率分布,即關於某個變數 p 的概率分布,是在獲得某些資訊或者依據前,對 p 的不確定性進行猜測。例如,p 可以是搶火車票開始時,搶到某一車次的概率。這是對不確定性 而不是隨機性 賦予乙個量化的數值的表徵,這個量化數值可以是乙個引數,...

先驗概率 似然函式與後驗概率

先驗概率 prior probability 在貝葉斯統計中,先驗概率分布,即關於某個變數 p 的概率分布,是在獲得某些資訊或者依據前,對 p 的不確定性進行猜測。例如,p 可以是搶火車票開始時,搶到某一車次的概率。這是對不確定性 而不是隨機性 賦予乙個量化的數值的表徵,這個量化數值可以是乙個引數,...