在機器學習中，這些概念總會涉及到，但從來沒有真正理解透徹他們之間的聯絡。下面打算好好從頭捋一下這些概念，備忘。
先驗概率僅僅依賴於主觀上的經驗估計，也就是事先根據已有的知識的推斷，先驗概率就是沒有經過實驗驗證的概率，根據已知進行的主觀臆測。
如拋一枚硬幣，在拋之前，主觀推斷p（正面朝上） = 0.5。貝葉斯公式，用來描述兩個條件概率（後驗概率）之間的關係，比如 p(a|b) 和 p(b|a)。按照乘法法則：
p(a∩b) = p(a)*p(b|a)=p(b)*p(a|b)p(a|b)=p(a)p(b|a)/p(b) p(b)為標準化常量一般公式
其中 a1,,,,,,an為完備事件組，即
舉乙個簡單的例子：一口袋裡有3只紅球、2隻白球，採用不放回方式摸取，求：
⑴ 第一次摸到紅球（記作a）的概率；
⑵ 第二次摸到紅球（記作b）的概率；
⑶ 已知第二次摸到了紅球，求第一次摸到的是紅球的概率。
⑴ p(a)=3/5，這就是a的先驗概率；
⑵ p(b)=p(b|a)p(a)+p(b|a逆)p(a逆)=3/5 此稱為準化常量，a與a逆稱為完備事件組
⑶ p(a|b)=p(a)p(b|a)/p(b)=1/2，這就是a的後驗概率。
在數理統計學中，似然函式是一種關於統計模型中的引數的函式，表示模型引數中的似然性。
似然函式在統計推斷中有重大作用，如在最大似然估計和費雪資訊之中的應用等等。「似然性」與「或然性」或「概率」意思相近，都是指某種事件發生的可能性，但是在統計學中，「似然性」和「或然性」或「概率」又有明確的區分。
概率用於在已知一些引數的情況下，**接下來的觀測所得到的結果，而
似然性 則是用於在已知某些觀測所得到的結果時，對有關事物的性質的引數進行估計。
舉例如下：
對於「一枚正反對稱的硬幣上拋十次」這種事件，我們可以問硬幣落地時十次都是正面向上的「概率」是多少；
而對於「一枚硬幣上拋十次，落地都是正面向上」這種事件，我們則可以問，這枚硬幣正反面對稱（也就是正反面概率均為0.5的概率）的「似然」程度是多少。
l(θ|x)=p(x=x|θ).因此形式上，似然函式也是一種條件概率函式，但我們關注的變數改變了，關注的是a取值為引數θ的似然值：
θ p(b | a = θ)a的後驗概率 = (a的似然度 * a的先驗概率)/標準化常量注意到這裡並不要求似然函式滿足歸一性：∑p(b | a = θ)= 1
乙個似然函式乘以乙個正的常數之後仍然是似然函式。對所有α > 0，都可以有似然函式：
l(θ|x)=αp(x=x|θ).p(hh | ph = 0.5) = 0.5^2 = 0.25
在統計學中，我們關心的是在已知一系列投擲的結果時，關於硬幣投擲時正面朝上的可能性的資訊。我們可以建立乙個統計模型：假設硬幣投出時會有ph的概率正面朝上，而有1 −ph的概率反面朝上。這時，條件概率可以改寫成似然函式：
l(ph = 0.5 | hh) = p(hh | ph = 0.5) = 0.25
如果考慮ph= 0.6，那麼似然函式的值也會改變。
l(ph = 0.6 | hh) = p(hh | ph = 0.6) = 0.36
在這個例子中，似然函式實際上等於：
l(ph = θ | hh) = p(hh | ph = θ) = θ^2
類似地，如果觀測到的是三次投擲硬幣，頭兩次正面朝上，第三次反面朝上，那麼似然函式將會是：
l(ph = θ | hht) = p(hht | ph = θ) = θ^2(1- θ)，其中t表示反面朝上，0 <= ph <= 1
先驗概率 後驗概率 似然估計和貝葉斯公式
大概總結 先驗概率為p 因 後驗概率為p 因 果 似然估計為p 果 因 證據為p 果 貝葉斯公式為後驗概率 似然估計 先驗概率 證據 即p 因 果 p 果 因 p 因 p 果 貝葉斯估計的作用是通過結果 就是觀測值x 來判斷原因 就是引數 的概率，會把原因的概率提高，而普通的判斷原因的概率就是先驗概...
先驗概率,後驗概率,條件概率,貝葉斯
from and 先驗概率 事件發生前的預判概率。可以是基於歷史資料的統計，可以由背景常識得出，也可以是人的主觀觀點給出。一般都是單獨事件概率，如p x p y 後驗概率 事件發生後求的反向條件概率 或者說，基於先驗概率求得的反向條件概率。概率形式與條件概率相同。條件概率 乙個事件發生後另乙個事件發...
機器學習 貝葉斯公式 先驗概率 後驗概率
1.基礎知識點 條件概率公式 在b的條件下a發生的概率 a b同時發生的概率 b發生的概率 理解 因為a b同時發生的概率裡已經包含了b發生的概率，所以要將b的概率除掉。2.驗 經驗 先驗概率 於經驗之前的概率，相當於普通的概率 後驗概率 於經驗之後的概率，即條件概率 3.貝葉斯公式 實質就是條件概...