設a,b是兩個事件，且p(b)>0,則在事件b發生的條件下，事件a發生的條件概率（conditional probability)為：
p (a
∣b)=
p(ab
)/p(
b)p(a|b)=p(ab)/p(b)
p(a∣b)
=p(a
b)/p
(b)由條件概率公式得：
p (a
,b)=
p(a∣
b)p(
b)=p
(b∣a
)p(a
)p(a,b)=p(a|b)p(b)=p(b|a)p(a)
p(a,b)
=p(a
∣b)p
(b)=
p(b∣
a)p(
a)上式即為乘法公式；
乘法公式的推廣：對於任何正整數n≥2，當p(a1a2…an-1) > 0 時，有：
p (a
1a2.
..an
−1an
)=p(
a1)p
(a2∣
a1)p
(a3∣
a1a2
)...
p(an
∣a1a
2...
an−1
)p(a_1a_2...a_a_n)=p(a_1)p(a_2|a_1)p(a_3|a_1a_2)...p(a_n|a_1a_2...a_)
p(a1a
2..
.an−
1an
)=p
(a1
)p(a
2∣a
1)p
(a3
∣a1
a2)
...p
(an
∣a1
a2.
..an
−1)
如果事件組b1，b2，… 滿足
1. b1，b2…兩兩互斥，即 bi ∩ bj = ∅ ，i≠j ， i,j=1，2，…，且p(bi)>0,i=1,2,…;
2. b1∪b2∪…=ω ，則稱事件組 b1,b2,…是樣本空間ω的乙個劃分
設 b1,b2,…是樣本空間ω的乙個劃分，a為任一事件，則：
上式即為全概率公式（formula of total probability)
全概率公式的意義在於，當直接計算p(a)較為困難,而p(bi),p(a|bi) (i=1,2,…)的計算較為簡單時，可以利用全概率公式計算p(a)。思想就是，將事件a分解成幾個小事件，通過求小事件的概率，然後相加從而求得事件a的概率，而將事件a進行分割的時候，不是直接對a進行分割，而是先找到樣本空間ω的乙個個劃分b1,b2,…bn,這樣事件a就被事件ab1,ab2,…abn分解成了n部分，即a=ab1+ab2+…+abn, 每一bi發生都可能導致a發生相應的概率是p(a|bi)，由加法公式得
p (a
)=p(
a,b1
)+p(
ab2)
+...
.+p(
abn)
=p(a
∣b1)
p(b1
)+p(
a∣b2
)p(b
2)+.
..+p
(a∣b
n)p(
bn)p(a)=p(a,b_1)+p(ab_2)+....+p(ab_n) =p(a|b_1)p(b1)+p(a|b_2)p(b_2)+...+p(a|b_n)p(b_n)
p(a)=p
(a,b
1)+
p(ab
2)+
....
+p(a
bn)
=p(a
∣b1
)p(b
1)+p
(a∣b
2)p
(b2
)+..
.+p(
a∣bn
)p(
bn)
例項：某車間用甲、乙、丙三颱工具機進行生產，各台工具機次品率分別為5%，4%，2%，它們各自的產品分別佔總量的25%，35%，40%，將它們的產品混在一起，求任取乙個產品是次品的概率。
解：設… p(a)=25%*5%+4%*35%+2%*40%=0.0345
與全概率公式解決的問題相反，貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因（即大事件a已經發生的條件下，分割中的小事件bi的概率），設b1,b2,…是樣本空間ω的乙個劃分，則對任一事件a（p(a)>0),有
上式即為貝葉斯公式（bayes formula)，bi 常被視為導致試驗結果a發生的」原因「，p(bi)(i=1,2,…)表示各種原因發生的可能性大小，故稱先驗概率；p(bi|a)(i=1,2…)則反映當試驗產生了結果a之後，再對各種原因概率的新認識，故稱後驗概率。
例項：發報臺分別以概率0.6和0.4發出訊號「∪」和「—」。由於通訊系統受到干擾，當發出訊號「∪」時，收報臺分別以概率0.8和0.2受到訊號「∪」和「—」；又當發出訊號「—」時，收報臺分別以概率0.9和0.1收到訊號「—」和「∪」。求當收報臺收到訊號「∪」時，發報臺確係發出「∪」的概率。
解：設…， p(b1|a）= (0.6*0.8)/(0.6*0.8+0.4*0.1)=0.923
機器學習數學基礎之概率論01 貝葉斯公式
1.事件a的概率是乙個非負實數 p a 0。2.合法命題 必然事件 的概率為1。3.對兩兩不相交 互斥 事件 聯合概率 p a,b p a b p b 條件概率 p a b p a,b p b 給定任意b，若p b 0，則p b 也是乙個概率，即滿足概率的三個概率公理 1.事件a在b的條件下的概率是...
機器學習中的概率問題
機器學習中的概率問題 機器學習的過程可以理解為計算機通過分析大量的資料獲得模型，並通過獲得的模型進行 的過程。機器學習的模型可以有多種表示，例如線性回歸模型，svm模型，決策樹模型，貝葉斯模型。概率型別 在理解概率模型之前，首先要理解的各種概率型別所表示的確切含義。1.先驗概率 某事件發生的概率。2...
機器學習中的數學
從大學到現在，課堂上學的和自學的數學其實不算少了，可是在研究的過程中總是發現需要補充新的數學知識。learning和vision都是很多種數學的交匯場。看著不同的理論體系的交匯，對於乙個researcher來說，往往是非常exciting的enjoyable的事情。不過，這也代表著要充分了解這個領域...