貝葉斯派既然把θ看做是乙個隨機變數，所以要計算θ的分布，便得事先知道θ的無條件分布，即在有樣本之前（或觀察到x之前），θ有著怎樣的分布呢？
比如往撞球桌上扔乙個球，這個球落會落在何處呢？如果是不偏不倚的把球丟擲去，那麼此球落在撞球桌上的任一位置都有著相同的機會，即球落在撞球桌上某一位置的概率服從均勻分布。這種在實驗之前定下的屬於基本前提性質的分布稱為先驗分布，或的無條件分布。
至此，貝葉斯及貝葉斯派提出了乙個思考問題的固定模式：
先驗分布 π(θ)+ 樣本資訊χ⇒ 後驗分布π(θ|x)
上述思考模式意味著，新觀察到的樣本資訊將修正人們以前對事物的認知。換言之，在得到新的樣本資訊之前，人們對的認知是先驗分布 π(θ)，在得到新的樣本資訊後χ，人們對θ的認知為π(θ|x)。
而後驗分布π(θ|x)一般也認為是在給定樣本χ的情況下θ的條件分布，而使達到最大的值稱為最大後θmd驗估計，類似於經典統計學中的極大似然估計。
貝葉斯定理
在引出貝葉斯定理之前，先學習幾個定義：
接著，考慮乙個問題：p(a|b)是在b發生的情況下a發生的可能性。
貝葉斯定理便是基於下述貝葉斯公式：
p(a|b)=p(b|a)p(a)/p(b)
上述公式的推導其實非常簡單，就是從條件概率推出。
根據條件概率的定義，在事件b發生的條件下事件a發生的概率是
p(a|b)=p(a∩b)/p(b)
同樣地，在事件a發生的條件下事件b發生的概率
p(b|a)=p(a∩b)/p(a)
p(a|b)p(b)=p(a∩b)=p(b|a)p(a)
接著，上式兩邊同除以p(b)，若p(b)是非零的，我們便可以得到貝葉斯定理的公式表示式：
p(a|b)=p(b|a)*p(a)/p(b)
我們把p(a)稱為"先驗概率"（prior probability），即在b事件發生之前，我們對a事件概率的乙個判斷。p(a|b)稱為"後驗概率"（posterior probability），即在b事件發生之後，我們對a事件概率的重新評估。p(b|a)/p(b)稱為"可能性函式"（likelyhood），這是乙個調整因子，使得預估概率更接近真實概率。
所以，條件概率可以理解成下面的式子：
後驗概率 ＝ 先驗概率 ｘ 調整因子
這就是貝葉斯推斷的含義。我們先預估乙個"先驗概率"，然後加入實驗結果，看這個實驗到底是增強還是削弱了"先驗概率"，由此得到更接近事實的"後驗概率"。
在這裡，如果"可能性函式"p(b|a)/p(b)>1，意味著"先驗概率"被增強，事件a的發生的可能性變大；如果"可能性函式"=1，意味著b事件無助於判斷事件a的可能性；如果"可能性函式"<1，意味著"先驗概率"被削弱，事件a的可能性變小。
貝葉斯公式的理解
推導過程 1 條件概率公式 設a,b是兩個事件，且p b 0,則在事件b發生的條件下，事件a發生的條件概率 conditional probability 為 p a b p ab p b 2 乘法公式 1.由條件概率公式得 p ab p a b p b p b a p a 上式即為乘法公式 2.乘...
徹底理解貝葉斯公式
條件概率 又稱後驗概率 就是事件a在另外乙個事件b已經發生條件下的發生概率。條件概率表示為p a b 讀作 在b條件下a的概率 比如，在同乙個樣本空間 中的事件或者子集a與b，如果隨機從 中選出的乙個元素屬於b，那麼這個隨機選擇的元素還屬於a的概率就定義為在b的前提下a的條件概率，所以 p a b ...
貝葉斯公式的理解
最近在學粒子濾波，然後複習了以下貝葉斯公式，看到了乙個關於貝葉斯推理的例子，比較有意思，推理的題目是 好人or壞人 b想去旅行，需要找一名隊友，於是發帖找人，立馬有人a自告奮勇。但是網路真真假假，b不知道a是好人還是壞人，會不會在旅途中坑自己一把，讓他遭受危險。於是他對a說，要不我們先旅行一段路程，...