一文讀懂貝葉斯原理(Bayes theorem)

2021-10-11 14:43:11 字數 1364 閱讀 8999

前言:貝葉斯定理是18世紀英國數學家托馬斯·貝葉斯(thomas bayes)提出得重要概率論理論。以下摘一段 wikipedia 上的簡介:

所謂的貝葉斯定理源於他生前為解決乙個「逆概」問題寫的一篇文章,而這篇文章是在他死後才由他的一位朋友發表出來的。在貝葉斯寫這篇文章之前,人們已經能夠計算「正向概率」,如「假設袋子裡面有 n 個白球,m 個黑球,你伸手進去摸一把,摸出黑球的概率是多大」。而乙個自然而然的問題是反過來:「如果我們事先並不知道袋子裡面黑白球的比例,而是閉著眼睛摸出乙個(或好幾個)球,觀察這些取出來的球的顏色之後,那麼我們可以就此對袋子裡面的黑白球的比例作出什麼樣的推測」。這個問題,就是所謂的逆向概率問題。

貝葉斯定理的思想出現在18世紀,但真正大規模派上用途還得等到計算機的出現。因為這個定理需要大規模的資料計算推理才能凸顯效果,它在很多計算機應用領域中都大有作為,如自然語言處理,機器學習,推薦系統,影象識別,博弈論等等。

貝葉斯定理的思想出現在18世紀,但真正大規模派上用途還得等到計算機的出現。因為這個定理需要大規模的資料計算推理才能凸顯效果,它在很多計算機應用領域中都大有作為,如自然語言處理,機器學習,推薦系統,影象識別,博弈論等等。

p(a)是 a 的先驗概率,之所以稱為「先驗」是因為它不考慮任何 b 方面的因素。p(a|b)是已知 b 發生後 a 的條件概率,也由於得自 b 的取值而被稱作 a 的後驗概率。

p(b|a)是已知 a 發生後 b 的條件概率,也由於得自 a 的取值而被稱作 b 的後驗概率。

p(b)是 b 的先驗概率,也作標淮化常量(normalizing constant)。

後驗概率 = (相似度 * 先驗概率)/標淮化常量

後驗概率 = 標淮相似度 * 先驗概率

我們可以從條件概率的定義推導出貝葉斯定理。

通常,事件 a 在事件 b 發生的條件下的概率,與事件 b 在事件 a 發生的條件下的概率是不一樣的;然而,這兩者是有確定關係的,貝葉斯定理就是這種關係的陳述。

貝葉斯公式的用途在於通過己知三個概率來推測第四個概率。它的內容是:在 b 出現的前提下,a 出現的概率等於 a 出現的前提下 b 出現的概率乘以 a 出現的概率再除以 b 出現的概率。通過聯絡 a 與 b,計算從乙個事件發生的情況下另一事件發生的概率,即從結果上溯到源頭(也即逆向概率)。

通俗地講就是當你不能確定某乙個事件發生的概率時,你可以依靠與該事件本質屬性相關的事件發生的概率去推測該事件發生的概率。用數學語言表達就是:支援某項屬性的事件發生得愈多,則該事件發生的的可能性就愈大。這個推理過程有時候也叫貝葉斯推理。

貝葉斯原理簡介

貝葉斯 決策理論是主觀貝葉斯派歸納理論的重要組成部分。貝葉斯決策就是在不完全情報下,對部分未知的狀態用主觀概率估計,然後用貝葉斯公式對發生概率進行修正,最後再利用期望值和修正概率做出最優決策。貝葉斯決策理論方法是統計模型決策中的乙個基本方法,其基本思想是 1 已知類條件概率密度引數表示式和先驗概率。...

一文讀懂mysql索引底層原理

mysql官方對索引的定義為 索引是幫助mysql高效獲取資料的資料結構,簡單來說 索引就是資料結構.資料庫的底層索引是用b樹和b 樹實現的,但是為什麼使用的是它們,為什麼不用紅黑樹?紅黑樹等資料結構也可以用來實現索引,但是檔案系統以及資料庫系統普遍採用b tree b tree作為索引結構.這是因...

一文讀懂Nginx

問 nginx的負載均衡演算法有什麼?預設是什麼演算法?答 1 輪詢 按請求的時間輪詢查空閒的後端伺服器 2 指定輪詢機率 機率的原因是後端伺服器的效能不均勻,好的多分點,差的少分點 3 固定ip繫結固定伺服器 預設是加權輪詢,就是優先訪問權重高的伺服器 問 nginx是單執行緒的嗎?答 是單執行緒...