頻率學派往往通過證據推導一件事情發生的概率，而貝葉斯學派還會同時考慮這個證據的可信度。從引數估計的角度來講，頻率學派認為引數是固定不變的，雖然我們不知道它，但是我們可以根據一組抽樣值去**它的結果，這就有了極大似然估計(mle)。極大似然估計的思想就是，我已經抽樣產生了一組值（例如拋硬幣5次，得出結果:正正反正反），那麼到底是什麼引數（拋一次硬幣，正面朝上的概率）才讓我最有可能抽樣出這一組結果呢。即我的目標是求出讓似然函式最大的引數：
而貝葉斯學派則認為引數本身就是乙個隨機變數，它也有自己的分布。如果我們現在已經有一組結果（正正反正反），我們可以根據這個結果求出隨機變數最有可能的值，這其實就是最大後驗概率估計(map)。最大後驗概率估計是要求出
p(x)作為確定值，我們不考慮它，最大後驗概率估計變成了:
可以看出它只是在極大似然估計的基礎上乘上了引數的先驗概率，也就是說我求出的引數不僅僅有最大的概率產生這組值（正正反正反），它本身出現的概率也必須大。
舉個通俗易懂的例子，如果你出門遇到一位算命師傅，他說你最近有桃花運，果然你不久之後就被心儀的人表白，這說明這個師傅算命很準（記作事件a），現在我們來討論下這個師傅究竟會不會算命（將師傅會算命記作證據b）。從頻率學派的角度來看，如果師傅會算命（證據b發生），那麼他算對了我的桃花運是一件概率很大的事情。也就是說p(a|b)很大，從極大似然的角度講，我們應該相信師傅會算命。可事實上我們根本不會相信師傅會算命，因為我們本身對會算命這件事有著先驗的不相信，也就是說在我們眼中，p(b)是很小的。這說明我們已經潛移默化地用了貝葉斯思想，在最大後驗概率估計中，p(b|a) ~ p(a|b)p(b)，即使p(a|b)很大，如果p(b)很小，那麼p(b|a)還是會小。
貝葉斯學派和頻率學派的一點感悟
引言 我這人看書有個毛病，喜歡刨根問底，有人覺得是好事啊，這樣明明白白做人 但有時候也未必，原因在於你沒有足夠的時間去深究。那麼，這次我為什麼會思考貝葉斯和頻率學派這個問題呢？首先 於自己正在讀研，搞過資料探勘的朋友應該都聽過經典的prml patterrn recogniztion and mac...
統計學中的頻率學派與貝葉斯學派
對於技術應用人員來說，我們更看重方法的應用，但有時候對知識的背景做一些了解，我覺得還是挺有必要的，能幫助我們理解一些東西。這篇博文裡，不會呈現任何計算公式，只是討論一下貝葉斯學派與頻率學派之間的問題。貝葉斯學派與頻率學派是當今數理統計學的兩大學派，基於各自的理論，在諸多領域中都起到了重要作用。自20...
貝葉斯引數估計
學習這部分內容約需要1.9小時 在貝葉斯框架中,我們將統計模型的引數視為隨機變數.模型由變數值的先驗分布以及決定引數如何影響觀測資料的證據模型來指定.當我們對觀測資料進行條件化時,我們得到引數的後驗分布.術語 貝葉斯引數估計 會讓我們誤以為對引數進行了估計,實際上我們通常可以完全跳過引數估計步驟.我...