1.先驗概率與後驗概率
先驗（a priori；又譯：先天）在拉丁文中指「來自先前的東西」，或稍稍引申指「在經驗之前」。近代西方傳統中，認為先驗指無需經驗或先於經驗獲得的知識。它通常與後驗知識相比較，後驗意指「在經驗之後」，需要經驗。這一區分來自於中世紀邏輯所區分的兩種論證，從原因到結果的論證稱為「先驗的」，而從結果到原因的論證稱為「後驗的」。
驗前概率就是通常說的概率，驗後概率是一種條件概率，但條件概率不一定是驗後概率。貝葉斯公式是由驗前概率求驗後概率的公式。
先驗概率是通過經驗與以往的統計資料得來的。
後驗概率是觀察某事件已發生後，通過計算（貝葉斯公式）得到另一事件發生的概率。
舉乙個簡單的例子：
一口袋裡有3只紅球、2隻白球，採用不放回方式摸取，求：
⑴ 第一次摸到紅球（記作a）的概率；
⑵ 第二次摸到紅球（記作b）的概率；
⑶ 已知第二次摸到了紅球，求第一次摸到的是紅球的概率。
解：⑴ p(a)=3/5，這就是驗前概率；
⑵ p(b)=p(a)p(b|a)+p(a逆)p(b|a逆)=3/5
⑶ p(a|b)=p(a)p(b|a)/p(b)=1/2，這就是驗後概率。
還有一例：
玩英雄聯盟佔到中國總人口的60%，不玩英雄聯盟的人數佔到40%：
為了便於數學敘述，這裡我們用變數x來表示取值情況，根據概率的定義以及加法原則，我們可以寫出如下表示式：
p(x=玩lol)=0.6；p(x=不玩lol)=0.4，這個概率是統計得到的，即x的概率分布已知，我們稱其為先驗概率(prior probability)；
另外玩lol中80%是男性，20%是小姐姐,不玩lol中20%是男性，80%是小姐姐,這裡我用離散變數y表示性別取值，同時寫出相應的條件概率分布：
p(y=男性|x=玩lol)=0.8，p(y=小姐姐|x=玩lol)=0.2
p(y=男性|x=不玩lol)=0.2，p(y=小姐姐|x=不玩lol)=0.8
那麼我想問在已知玩家為男性的情況下，他是lol玩家的概率是多少：
依據貝葉斯準則可得：
p(x=玩lol|y=男性)=p(y=男性|x=玩lol)*p(x=玩lol)/
[ p(y=男性|x=玩lol)*p(x=玩lol)+p(y=男性|x=不玩lol)*p(x=不玩lol)]
最後算出的p(x=玩lol|y=男性)稱之為x的後驗概率，即它獲得是在觀察到事件y發生後得到的
2.似然函式
它是給定聯合樣本值下關於(未知)引數 的函式：
這裡的小是指聯合樣本隨機變數取到的值，即；
這裡的是指未知引數，它屬於引數空間；
這裡的是乙個密度函式，特別地，它表示(給定)下關於聯合樣本值的聯合密度函式。
所以從定義上，似然函式和密度函式是完全不同的兩個數學物件：前者是關於的函式，後者是關於的函式。所以這裡的等號 理解為函式值形式的相等，而不是兩個函式本身是同一函式(根據函式相等的定義，函式相等當且僅當定義域相等並且對應關係相等)。
似然函式和概率密度有兩個主要的區別：
1.似然函式是引數的函式，不是隨機變數的函式，而引數在一般情況下都是被認為常數的，不具有密度函式。
2.似然函式的積分並不等於1， 而概率密度的積分為1.
下面舉乙個例子：
有乙個硬幣，它有θ的概率會正面向上，有1-θ的概率反面向上。θ是存在的，但是你不知道它是多少。為了獲得θ的值，你做了乙個實驗：將硬幣拋10次，得到了乙個正反序列：x=hhtththhhh。
無論θ的值是多少，這個序列的概率值為 θ⋅θ⋅(1-θ)⋅(1-θ)⋅θ⋅(1-θ)⋅θ⋅θ⋅θ⋅θ = θ⁷ (1-θ)³，這就是它的似然函式。
這個曲線就是θ的似然函式，通過了解在某一假設下，已知資料發生的可能性，來評價哪乙個假設更接近θ的真實值。
如圖所示，最有可能的假設是在θ=0.7的時候取到。但是，你無須得出最終的結論θ=0.7。事實上，根據貝葉斯法則，0.7是乙個不太可能的取值（如果你知道幾乎所有的硬幣都是均質的，那麼這個實驗並沒有提供足夠的證據來說服你，它是均質的）。但是，0.7卻是最大似然估計的取值。
因為這裡僅僅試驗了一次，得到的樣本太少，所以最終求出的最大似然值偏差較大，如果經過多次試驗，擴充樣本空間，則最終求得的最大似然估計將接近真實值0.5。
先驗概率 後驗概率 似然函式
以下以因果關係來刻畫先驗概率 後驗概率以及似然概率的關係。先驗概率 根據經驗得到的結果的概率 已知結果 後驗概率 在知道原因的情況下，求結果發生的概率 執因求果 似然概率 知道結果的情況下，求最可能導致結果發生的原因 知果求因 舉個例子 已知車禍有一定概率會導致堵車，此處車禍是因，堵車是果。p 堵車...
先驗概率 似然函式與後驗概率
先驗概率 prior probability 在貝葉斯統計中，先驗概率分布，即關於某個變數 p 的概率分布，是在獲得某些資訊或者依據前，對 p 的不確定性進行猜測。例如，p 可以是搶火車票開始時，搶到某一車次的概率。這是對不確定性 而不是隨機性 賦予乙個量化的數值的表徵，這個量化數值可以是乙個引數，...
先驗概率 似然函式與後驗概率
先驗概率 prior probability 在貝葉斯統計中，先驗概率分布，即關於某個變數 p 的概率分布，是在獲得某些資訊或者依據前，對 p 的不確定性進行猜測。例如，p 可以是搶火車票開始時，搶到某一車次的概率。這是對不確定性 而不是隨機性 賦予乙個量化的數值的表徵，這個量化數值可以是乙個引數，...