徹底理解貝葉斯公式

條件概率（又稱後驗概率）就是事件a在另外乙個事件b已經發生條件下的發生概率。條件概率表示為p(a|b)，讀作「在b條件下a的概率」。

比如，在同乙個樣本空間ω中的事件或者子集a與b，如果隨機從ω中選出的乙個元素屬於b，那麼這個隨機選擇的元素還屬於a的概率就定義為在b的前提下a的條件概率，所以：p(a|b) = |a∩b|/|b|，接著分子、分母都除以|ω|得到：

聯合概率表示兩個事件共同發生的概率。a與b的聯合概率表示為p(a∩b)或者p(a，b)。

邊緣概率（又稱先驗概率）是某個事件發生的概率。邊緣概率是這樣得到的：在聯合概率中，把最終結果中那些不需要的事件通過合併成它們的全概率，

而消去它們（對離散隨機變數用求和得全概率，對連續隨機變數用積分得全概率），這稱為邊緣化（marginalization），比如a的邊緣概率表示為p(a)，

b的邊緣概率表示為p(b)。

接著，考慮乙個問題：p(a|b)是在b發生的情況下a發生的可能性。

1）首先，事件b發生之前，我們對事件a的發生有乙個基本的概率判斷，稱為a的先驗概率，用p(a)表示；

2）其次，事件b發生之後，我們對事件a的發生概率重新評估，稱為a的後驗概率，用p(a|b)表示；

3）類似的，事件a發生之前，我們對事件b的發生有乙個基本的概率判斷，稱為b的先驗概率，用p(b)表示；

4）同樣，事件a發生之後，我們對事件b的發生概率重新評估，稱為b的後驗概率，用p(b|a)表示。

總結：

1. p(a)：先驗概率（邊緣概率）即某事件發生的概率

2. p(b|a)：後驗概率（條件概率）

3. p(ab)：聯合概率（ab同時發生的概率)

在講全概率公式之前，首先要理解什麼是「完備事件組」。我們將滿足

bibj=∅(i≠j)   b1+b2+⋯=ω

這樣的一組事件稱為乙個「完備事件組」。簡而言之，就是事件之間兩兩互斥，所有事件的並集是整個樣本空間（必然事件）。

假設我們要研究事件a。我們希望能夠求出p(a)，但是經過一番探索，卻發現p(a) 本身很難直接求出，不過卻能夠比較容易地求出各個p(bi)，以及相應的條件概率p(a|bi)。能不能根據這些資訊，間接地求出p(a)呢？這當然是可以的。

我們不要忘記，bi是兩兩互斥的。

a=aω=ab1+ab2+ab3+⋯

顯然，ab1，ab2，ab3，⋯也是兩兩互斥的。一說到兩兩互斥，我們就想到了概率的加法定理：

p(a)=p(aω)=p(ab1+ab2+ab3+⋯)=p(ab1)+p(ab2)+p(ab3)+⋯

再根據條件概率的定義，我們得到了教科書上的全概率公式：

p(a)=p(b1)p(a|b1)+p(b2)p(a|b2)+p(b3)p(a|b3)+⋯

【總結】全概率公式可以從另乙個角度去理解，把bi看作是事件a發生的一種「可能途徑」，若採用了不同的途徑，a發生的概率，

也就是相應的條件概率p(a|bi)也會不同。但是，我們事先卻並不知道將會走哪條途徑，換言之，途徑的選擇是隨機的，

這樣就導致了不同途徑被選中的可能性也許也會存在差異，這就是p(bi)所表達的含義。這樣一來，我們最終所要求的p(a)，

實際上就是乙個不同路徑概率的加權平均。

有了前面的基礎，我們現在先直接丟擲貝葉斯公式：

分子：條件概率；分母：全概率。但它所表達的意義卻非常刻！

在全概率公式中，如果將a看成是「結果」，bi看成是導致結果發生的諸多「原因」之一，那麼全概率公式就是乙個「原因推結果」的過程。但貝葉斯公式卻恰恰相反。貝葉斯公式中，我們是知道結果a已經發生了，所要做的是反過來研究造成結果發生的原因，是xx原因造成的可能性有多大，即「結果推原因」。