貝葉斯定理筆記（1）

貝葉斯定理：

貝葉斯定理是關於隨機事件a和b的條件概率（或邊緣概率）的一則定理。其中p(a|b)是在b發生的情況下a發生的可能性。

貝葉斯定理也稱貝葉斯推理。

了解貝葉斯定理之前要先了解一下內容：

1、條件概率

是指事件a在另外乙個事件b已經發生條件下的發生概率。條件概率表示為：p（a|b），讀作「在b的條件下a的概率」。條件概率可以用決策樹進行計算。

2、聯合概率

指的是包含多個條件且所有條件同時成立的概率，記作p(x=a,y=b)或p(a,b)，有的書上也習慣記作p(ab)，但是這種記法個人不太習慣，所以下文採用以逗號分隔的記法。

3、邊緣概率

邊緣概率是與聯合概率對應的，p(x=a)或p(y=b)，這類僅與單個隨機變數有關的概率稱為邊緣概率

4、聯合概率與邊緣概率的關係

p(x=a)=∑bp(x=a,y=b)

p(x=a)=∑bp(x=a,y=b)

5、全概率

若事件a1，a2，…構成乙個完備事件組且都有正概率，則對任意乙個事件b，有如下公式成立：

p(b)=p(ba1)+p(ba2)+…+p(ban)=p(b|a1)p(a1) + p(b|a2)p(a2) + … +p(b|an)p(an).

此公式即為全概率公式。

特別地，對於任意兩隨機事件a和b，有如下成立：

其中a和

特別地，對於任意兩隨機事件a和b，有如下成立：

二、貝葉斯定理

貝葉斯定理由英國數學家貝葉斯 ( thomas bayes 1702-1761 )提出，即：

p(a|b)=p(b|a)p(a)/p(b)。

有了條件概率公式，貝葉斯定理的推導和證明非常簡單。

根據條件概率定義：

p(a|b)=p(ab)/p(b)

同理p(b|a)=p(ba)/p(a)

則:p(ab)=p(a|b)p(b),p(ba)=p(b|a)p(a)

p(ab)表示a、b同時發生的概率，

p(ba)表示b、a同時發生的概率，

根據交換律，p(ab)=p(ba)

所以，p(a|b)p(b)=p(b|a)p(a)

則：p(a|b)=p(b|a)p(a)/p(b)

先驗概率：知道原因推結果的，p(原因)、p(結果|原因)等

後驗概率：根據結果推原因的，p(原因|結果)等

p(a|b)稱為「後驗概率」（posterior probability），即在b事件發生之後，我們對a事件概率的重新評估。

p(b|a)/p(b)稱為「調整因子」，調整因子可以大於1，也可以小於1，即b事件發生後，對a事件發生的概率是增強作用還是削弱作用。

即貝葉斯定理可表述成：

後驗概率 = 調整因子 * 先驗概率

貝葉斯公式解決的是一些原因x無法直接觀測、測量，而我們希望通過其結果y來反推出原因x的問題，也就是知道一部分先驗概率，來求後驗概率的問題。

舉個栗子：

打到怪物就能獲得寶箱，但是寶箱有2/3的概率是陷阱，玩家可以通過魔法來檢查，但是有1/4的誤判概率，問：假設玩家利用魔法判定此寶箱沒有陷阱，求寶箱有陷阱的概率

p(有陷阱)=2/3；p(沒有發現|有陷阱)=1/4；p（發現了|沒有陷阱)=1/4

p(有陷阱|沒有發現)

我們可以推得：

聯立兩式我們就可以得到乙個由已知條件求p(有陷阱|沒有發現)的式子

這就是對應於此題的貝葉斯公式。它的的一般形式如下：

其中「…」的部分需要列出x所有可能的值，並求和。

在記憶貝葉斯公式時，很容易搞錯豎線左右兩側的值，因此建議大家在習慣使用貝葉斯公式時，最好先根據定義與性質當場推導，而不要僅僅憑記憶默寫。

貝葉斯定理

要了解貝葉斯定理，我們必須先知道什麼是條件概率 概率是什麼我們大家都知道，它能夠反映隨機事件出現的可能性大小 那什麼是條件概率，現在有一位小明同學，上學總是遲到，遲到也是有概率的，小明每次遲到當然也是有原因的，假設小明遲到就是因為晚上打遊戲早上經常睡過，如果前一天小明不玩遊戲，第二天遲到的概率是20...

貝葉斯定理

貝葉斯定理是關於隨機事件a和b的條件概率 或邊緣概率 的一則定理。其中p a b 是在b發生的情況下a發生的可能性。貝葉斯定理也稱貝葉斯推理，早在18世紀，英國學者貝葉斯 1702 1763 曾提出計算條件概率的公式用來解決如下一類問題 假設h 1 h 2 h n 互斥且構成乙個完全事件，已知它們的...

貝葉斯定理

貝葉斯定理是關於隨機事件a和b的條件概率 或邊緣概率 的一則定理。p a 是 a 的先驗概率，之所以稱為 先驗 是因為它不考慮任何 b 方面的因素。p a b 是已知 b 發生後 a 的條件概率，也由於得自 b 的取值而被稱作 a 的後驗概率。p b a 是已知 a 發生後 b 的條件概率，也由於得...