先驗概率，後驗概率，似然概率，條件概率，貝葉斯，最大似然老是搞混，因此在這裡總結一下常規的叫法：
1、先驗概率：
事件發生前的預判概率。可以是基於歷史資料的統計，可以由背景常識得出，也可以是人的主觀觀點給出。一般都是單獨事件概率，如p(x),p(y)。
2、後驗概率：
事件發生後求的反向條件概率；或者說，基於先驗概率求得的反向條件概率。概率形式與條件概率相同。
3、條件概率：
乙個事件發生後另乙個事件發生的概率。一般的形式為p(x|y)表示y發生的條件下x發生的概率。
貝葉斯公式：
p(y|x) = ( p(x|y) * p(y) ) / p(x)
這裡：p(y|x) 是後驗概率，一般是我們求解的目標。
p(x|y) 是條件概率，又叫似然概率，一般是通過歷史資料統計得到。一般不把它叫做先驗概率，但從定義上也符合先驗定義。
p(y) 是先驗概率，一般都是人主觀給出的。貝葉斯中的先驗概率一般特指它。
p(x) 其實也是先驗概率，只是在貝葉斯的很多應用中不重要（因為只要最大後驗不求絕對值），需要時往往用全概率公式計算得到。
例項：假設y是文章種類，是乙個列舉值；x是向量，表示文章中各個單詞的出現次數。
在擁有訓練集的情況下，顯然除了後驗概率p(y|x)中的x來自一篇新文章無法得到，p(x),p(y),p(x|y)都是可以在抽樣集合上統計出的。
4、最大似然理論：
認為p(x|y)最大的類別y，就是當前文件所屬類別。即max p(x|y) = max p(x1|y)p(x2|y)**…p(xn|y), for all y
5、貝葉斯理論：
認為需要增加先驗概率p(y)，因為有可能某個y是很稀有的類別幾千年才看見一次，即使p(x|y)很高，也很可能不是它。
所以y = max p(x|y) * p(y), 其中p(y)一般是資料集裡統計出來的。
從上例來講，貝葉斯理論顯然更合理一些；但實際中很多先驗概率是拍腦袋得出的（不准），有些甚至是為了方便求解方便生造出來的（硬湊），那有先驗又有什麼好處呢？一般攻擊貝葉斯都在於這一點。
深度網路可以理解為根據先驗概率p(x)（上一層網路），通過最大似然估計，得到後驗概率p(y|x)（該層網路）。
先驗概率 後驗概率
貝葉斯公式的直觀理解 先驗概率 後驗概率 前言 以前在許學習貝葉斯方法的時候一直不得要領,什麼先驗概率,什麼後驗概率,完全是跟想象脫節的東西,今天在聽喜馬拉雅的音訊的時候突然領悟到,貝葉斯老人家當時想到這麼一種理論前提可能也是基於一種人的直覺.先驗概率 是指根據以往經驗和分析得到的概率.1 意思是說...
先驗概率，後驗概率
一 先驗概率 1.1 定義 直觀理解，所謂 先 就是在事情之前，即在事情發生之前事情發生的概率。是根據以往經驗和分析得到的概率。1.2 例子 比如拋硬幣，我們都認為正面朝上的概率是0.5，這就是一種先驗概率，在拋硬幣前，我們只有常識。這個時候事情還沒發生，我們進行概率判斷。所謂的先驗概率是對事情發生...
先驗概率and後驗概率
from and 先驗概率 事件發生前的預判概率。可以是基於歷史資料的統計，可以由背景常識得出，也可以是人的主觀觀點給出。一般都是單獨事件概率，如p x p y 後驗概率 事件發生後求的反向條件概率 或者說，基於先驗概率求得的反向條件概率。概率形式與條件概率相同。條件概率 乙個事件發生後另乙個事件發...