機器學習（3） 貝葉斯演算法

貝葉斯定理是18世紀英國數學家托馬斯·貝葉斯（thomas bayes）提出得重要概率論理論。以下摘一段 wikipedia 上的簡介：

所謂的貝葉斯定理源於他生前為解決乙個「逆概」問題寫的一篇文章，而這篇文章是在他死後才由他的一位朋友發表出來的。在貝葉斯寫這篇文章之前，人們已經能夠計算「正向概率」，如「假設袋子裡面有 n 個白球，m 個黑球，你伸手進去摸一把，摸出黑球的概率是多大」。而乙個自然而然的問題是反過來：「如果我們事先並不知道袋子裡面黑白球的比例，而是閉著眼睛摸出乙個（或好幾個）球，觀察這些取出來的球的顏色之後，那麼我們可以就此對袋子裡面的黑白球的比例作出什麼樣的推測」。這個問題，就是所謂的逆向概率問題。

貝葉斯定理是關於隨機事件 a 和 b 的條件概率：

p (a

∣b)=

p(b∣

a)p(

a)/p

(b

)\ p(a|b)= \ p(b|a)p(a)/p(b)

p(a∣b)

=p(b

∣a)p

(a)/

p(b)

其中p(a|b)是在 b 發生的情況下 a 發生的可能性。

在貝葉斯定理中，每個名詞都有約定俗成的名稱：

p(a)是 a 的先驗概率，之所以稱為「先驗」是因為它不考慮任何 b 方面的因素。

p(a|b)是已知 b 發生後 a 的條件概率，也由於得自 b 的取值而被稱作 a 的後驗概率。

p(b|a)是已知 a 發生後 b 的條件概率，也由於得自 a 的取值而被稱作 b 的後驗概率。

p(b)是 b 的先驗概率，也作標淮化常量（normalizing constant）。

後驗概率 = (相似度 * 先驗概率)/標淮化常量

也就是說，後驗概率與先驗概率和相似度的乘積成正比。

另外，比例p(b|a)/p(b)也有時被稱作標淮相似度（standardised likelihood），bayes定理可表述為：

後驗概率 = 標淮相似度 * 先驗概率

聯合概率表示兩個事件共同發生（數學概念上的交集）的概率。a 與 b 的聯合概率表示為

我們可以從條件概率的定義推導出貝葉斯定理。

根據條件概率的定義，在事件 b 發生的條件下事件 a 發生的概率為：

同樣地，在事件 a 發生的條件下事件 b 發生的概率為：

結合這兩個方程式，我們可以得到：

這個引理有時稱作概率乘法規則。上式兩邊同除以 p(a)，若p(a)是非零的，我們可以得到貝葉斯定理:

通常，事件 a 在事件 b 發生的條件下的概率，與事件 b 在事件 a 發生的條件下的概率是不一樣的；然而，這兩者是有確定關係的，貝葉斯定理就是這種關係的陳述。

貝葉斯公式的用途在於通過己知三個概率來推測第四個概率。它的內容是：在 b 出現的前提下，a 出現的概率等於 a 出現的前提下 b 出現的概率乘以 a 出現的概率再除以 b 出現的概率。通過聯絡 a 與 b，計算從乙個事件發生的情況下另一事件發生的概率，即從結果上溯到源頭（也即逆向概率）。

通俗地講就是當你不能確定某乙個事件發生的概率時，你可以依靠與該事件本質屬性相關的事件發生的概率去推測該事件發生的概率。用數學語言表達就是：支援某項屬性的事件發生得愈多，則該事件發生的的可能性就愈大。這個推理過程有時候也叫貝葉斯推理。

機器學習 貝葉斯

bayes.py包含了所有函式的實現，需要做的是，明白各個函式的功能作用及輸入輸出，在指令碼中完成函式的呼叫，給出要求的格式的結果。from numpy import import csv import random random.seed 21860251 def loaddataset post...

機器學習演算法 樸素貝葉斯

樸素貝葉斯 na ve bayes 屬於監督學習演算法，實現簡單，學習效率高 由於建立在貝葉斯理論之上，涉及到統計學方法，所以在大樣本量下會有較好的表現，當然樣本需要在一定程度上反映真實分布情況。該演算法的一條假設為 輸入的特徵向量的各分量之間兩兩條件獨立。因為這條假設比較嚴格，能夠完全符合該假設的...

機器學習 樸素貝葉斯

樸素貝葉斯原理 1.貝葉斯公式 2.樸素貝葉斯的模型 3.後驗概率最大化的含義 4.樸素貝葉斯的引數估計 4.1.特徵是離散值 假設符合多項式分布 4.2.特徵是稀疏的離散值 假設符合伯努利分布 4.3.特徵是連續值 假設符合正態分佈 5.樸素貝葉斯演算法過程 6.樸素貝葉斯演算法小結 scikit...