pmf：probability mass function，概率質量函式，是離散型隨機變數在各特定取值上的概率。與概率密度函式（pdf：probability density function）的不同之處在於：概率質量函式是對離散型隨機變數定義的，本身代表該值的概率；概率密度函式是針對連續型隨機變數定義的，本身不是概率（連續型隨機變數單點測度為0），只有在對連續隨機變數的pdf在某一給定的區間內進行積分才是概率。假設x
是乙個定義在可數樣本空間
s上的離散型隨機變數s⊆
r ，則其概率質量函式pmf為：fx
(x)=
=\d= ，似然函式為：
p(\mathcal|\theta)=\prod_^np(x_n|\theta)p(
d|θ)
=∏n=
1np(
xn|θ
) 為便於計算，再將其轉換為對數似然函式形式：
\ln p(\mathcal|\theta)=\sum_^n\ln p(x_n|\theta)lnp
(d|θ
)=∑n
=1nln
p(xn
|θ)
我們不妨以伯努利分布為例，利用最大似然估計的方式計算其分布的引數（p
p ），伯努利分布其概率密度函式（pdf）為：
f_x(x)=p^x(1-p)^=\left \
p,&\mathrm,\\
q\equiv1-p ,&\mathrm,\\
0,&\mathrm
\end
\right.fx
(x)=
px(1
−p)1
−x=⎧
⎩⎨⎪⎪
p,q≡
1−p,
0,x=
1,x=
0,ot
herw
ise整個樣本集的對數似然函式為：
\ln p(\mathcal|\theta)=\sum_^n\ln p(x_n|\theta)=\sum_^n\ln (\theta^(1-\theta)^)=\sum_^nx_n\ln\theta+(1-x_n)\ln(1-\theta)lnp
(d|θ
)=∑n
=1nln
p(xn
|θ)=
∑n=1
nln(θ
xn(1
−θ)1
−xn)
=∑n=
1nxn
lnθ+(
1−xn
)ln(1
−θ)
等式兩邊對\theta
θ 求導：
\frac|\theta)}=\frac^nx_n}-\frac+\frac^nx_n}∂ln
(d|θ
)∂θ=
∑nn=
1xnθ
−n1−
θ+∑n
n=1x
n1−θ
令其為0，得： θm
l=∑n
n=1x
nn f
(μ|a
,b)=
γ(a+
b)γ(
a)γ(
b)μa
−1(1
−μ)b
−1=1
b(a,
b)μa
−1(1
−μ)b
−1 b
eta 分布的峰值在a−
1b+a
−2處取得。其中γ(
x)≡∫
∞0ux
−1e−
udu 有如下性質： γ(
x+1)
=xγ(
x)γ(
1)=1
andγ
(n+1
)=n!
我們來看當先驗分布為be
ta分布時的後驗分布： p(
θ)=1
b(a,
b)θa
−1(1
−θ)b
−1p(
x|θ)
=(nk
)θk(
1−θ)
n−kp
(θ|x
)=1b
(a+k
,b+n
−k)θ
a+k−
1(1−
θ)b+
n−k−
1 對應於python中的math.gamma()及matlab中的gamma()函式（matlab中beta(a, b)=gamma(a)gamma(b)/gamma(a+b)）。p(
x|y)
讀作：p of
xgiven
y ，下劃線讀作given
x：所關心事件
y ：條件（觀察到的，已發生的事件），conditional仍然從樣本空間（sample space）的角度出發。此時我們需要定義新的樣本空間（給定條件之下的樣本空間）。所以，所謂條件（conditional），本質是對樣本空間的進一步收縮，或者叫求其子空間。
比如乙個人答題，有a,
b,c,
d四個選項，在答題者對題目一無所知的情況下，他答對的概率自然就是14
，而是如果具備一定的知識，排除了a,
c 兩個錯誤選項，此時他答對的概率簡單計算就增加到了12
。本質是樣本空間從s=
，變為了s′
= 。
新樣本空間下p(
a|排除
a/c)
=0,p
(c|排
除a/c
)=0 ，歸納出來，也即某實驗結果（outcome，oi
）與某條件
y 不相交，則： p(
oi|y
)=0最後我們得到條件概率的計算公式： p(
oi|y
)=p(
oi)p
(o1)
+p(o
2)+⋯
+p(o
n)=p
(oi)
p(y)
y=考慮某事件x=
，已知條件y=
發生了，則： p(
x|y)
=p(o
1|y)
+p(o
2|y)
+0+0
=p(o
1)p(
y)+p
(o2)
p(y)
=p(x
∩y)p
(y)
條件概率： p(
x|y)
=p(x
∩y)p
(y)
貝葉斯公式： p(
x|y)
=p(x
)p(y
|x)p
(y)
其實是可從條件概率推導貝葉斯公式的： p(
a|b)
=p(b
|a)=
p(a|
b)p(
b)==
=p(b
|a)=
p(a∩
b)p(
b)p(
a∩b)
p(a)
p(a∩
b)p(
b)p(
b)p(
a∩b)
p(a)
p(b|
a)p(
a|b)
p(b)
p(a)
p(b,p|d
)===
=p(b
,p,d
)p(d
)p(b
|p,d
)p(p
,d)p
(d)p
(b|p
,d)p
(p,d
)p(d
)p(b
|p,d
)p(p
|d)
[1] 概率質量函式
概率論與數理統計
概率論與數理統計是研究和揭示隨機現象統計規律性的一門數學學科。1，有一類現象，在一定條件下必然發生，這類現象稱為確定性現象。例如，石子必然下落，同性電荷必然相互排斥。2，在試驗或觀察之前不能預知確切的結果，但是在大量重複試驗或觀察下，結果卻呈現出某種規律性。這種在大量重複試驗或觀察中所呈現出的固有規...
概率論與數理統計 2
看乙個例子 盒子中有5個球,其中3個紅球,隨機取2個,注意問的問題?取到1個紅球的概率至少取到乙個紅球的概率無法取到紅球的概率取到2個紅球的概率取到紅球的個數 1 4的概率都是乙個數值,而取到紅球的個數則可能是0,1,2,但這些結果是隨機的，那麼稱取到紅球的個數為乙個隨機變數,並且求出各個取值的概率...
概率論與數理統計 3
扔硬幣不是正就是反 扔骰子的點數是1,2,3,4,5,6 打靶要麼中標要麼不中 這些結果數值都是明確可以取值的.稱為離散型隨機變數 圓的角度 0 360,可以有小數點 某人上班8點到9點之間到,這個結果集無法列舉 乙個燈泡的使用壽命 這些數值都無法列舉,但可在其範圍內取任一實數就稱為連續型隨機變數 ...