from:
and :
先驗概率：
事件發生前的預判概率。可以是基於歷史資料的統計，可以由背景常識得出，也可以是人的主觀觀點給出。一般都是單獨事件概率，如p(x),p(y)。
後驗概率：
事件發生後求的反向條件概率；或者說，基於先驗概率求得的反向條件概率。概率形式與條件概率相同。
條件概率：
乙個事件發生後另乙個事件發生的概率。一般的形式為p(x|y)表示y發生的條件下x發生的概率。
貝葉斯公式：
p(y|x) = ( p(x|y) * p(y) ) / p(x)p(y|x) 是後驗概率，一般是我們求解的目標。
p(x|y) 是條件概率，又叫似然概率，一般是通過歷史資料統計得到。一般不把它叫做先驗概率，但從定義上也符合先驗定義。
p(y) 是先驗概率，一般都是人主觀給出的。貝葉斯中的先驗概率一般特指它。
p(x) 其實也是先驗概率，只是在貝葉斯的很多應用中不重要（因為只要最大後驗不求絕對值），需要時往往用全概率公式計算得到。
最大似然理論：
認為p(x|y)最大的類別y，就是當前文件所屬類別。即max p(x|y) = max p(x1|y)*p(x2|y)*...p(xn|y), for all y認為需要增加先驗概率p(y)，因為有可能某個y是很稀有的類別幾千年才看見一次，即使p(x|y)很高，也很可能不是它。
所以y = max p(x|y) * p(y), 其中p(y)一般是資料集裡統計出來的。
給定某系統的若干樣本x，計算該系統的引數，即
p(θ) 沒有資料支援下，θ發生的概率：先驗概率
p(θ|x) 在資料x的支援下，θ發生的概率：後驗概率，貝葉斯公式也稱為後驗公式
p(x|θ) 給定某引數θ的概率分布：似然函式
理解：
此時李姓的概率即為 先驗概率
此時p(姓趙|趙家村)這個條件概率，即為 後驗概率
似然函式：
由貝葉斯公式帶來的思考：
給定某些樣本a，在這些樣本中計算結論b1,b2…bi出現的概率，即p(bi|a)，拿概率最大的那個結論b做為樣本a最終的結論，也就是說我要求max p(bi|a)，由貝葉斯公式：
max p(bi|a) = max p(a|bi)p(bi)/p(a)
其中 p(a) 即
又因為樣本a給定，對於b1,b2…bi來說p(a)是相同的，可以把分母去掉：
max p(bi|a) => max p(a|bi)p(bi)
若這些結論b1,b2…bi的先驗概率相等（或者近似），則可以得到：
max p(bi|a) => max p(a|bi)p(bi)=> max p(a|bi)
最後得到結論，我們求maxp(bi|a)，實際跟求max p(a|bi)是等價的 而p(a|bi)就是似然函式
/* 人應該感到渺小，在宇宙面前，在美面前，在智慧型面前； 而在人群中，應該意識到自己的尊嚴。*/
先驗概率 後驗概率
貝葉斯公式的直觀理解 先驗概率 後驗概率 前言 以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.先驗概率 是指根據以往經驗和分析得到的概率.1 意思是說...
先驗概率，後驗概率
一 先驗概率 1.1 定義 直觀理解，所謂 先 就是在事情之前，即在事情發生之前事情發生的概率。是根據以往經驗和分析得到的概率。1.2 例子 比如拋硬幣，我們都認為正面朝上的概率是0.5，這就是一種先驗概率，在拋硬幣前，我們只有常識。這個時候事情還沒發生，我們進行概率判斷。所謂的先驗概率是對事情發生...
先驗概率，後驗概率
對於統計學只是皮毛認識，在學校時根本不重視，如今機器學習幾乎以統計學為基礎發展起來的，頭疼的緊，如今還得琢磨基礎概念。1 我自己的理解 1 先驗 統計歷史上的經驗而知當下發生的概率 2 後驗 當下由因及果的概率 2 網上有個例子說的透徹 1 先驗 根據若干年的統計 經驗 或者氣候 常識 某地方下雨的...