現實情況中我們可能會遇到這樣的一些例子，需要得到一所高校有車學生的分布情況（假定符合引數為p的伯努利分布），某地區成年男性的身高分布情況（假定符合引數為u1，σ1的正態分佈），南極洲成年帝企鵝的體重分布（假定符合引數為u2，σ2的正態分佈）等等。
由於時間和經費的限制，不可能進行全面統計，我們只能通過一定的觀察，得到一系列的觀察值，在上述假定概率分布模型上，現在需要求出是哪個具體的概率分布生成了這些觀察值。要解決這個問題，就需要用到引數估計方法，即估計出上述的引數p，（u，σ），而最大似然估計就是這樣一種方法。
最大似然估計是乙個在已知觀察結果（即樣本）和給定概率分布模型的基礎上，估計概率分布模型的引數，並使得在該引數下，生成這個已知樣本的可能性最大的方法。
舉第乙個例子，設我們已經獲得了乙個樣本集，其中xi=0表示選取的學生沒有車，xi= 1表示選取的學生有車。 xi服從概率為未知引數p的伯努利分布，那麼根據伯努利分布的定義，每個xi的概率質量函式為： f(
xi;p
)=px
i(1−
p)1−
xi其中xi=0或1。 首先，要通過極大似然估計方法求出引數p，需要定義似然函式。前面提到，最大似然估計就是去找引數估計值，使得已經觀察到的樣本值發生概率最大。既然這些樣本已經實現了，其發生概率最大才符合邏輯。這就是求所有觀測值樣本的聯合概率最大化。因此，似然函式在形式上，其實就是樣本的聯合概率。對連續型隨機變數和離散型隨機變數，樣本的似然函式分別是概率密度和概率質量函式的連乘形式。
對於本例，似然函式為： l(
p)=∏
i=1n
f(xi
;p)=
px1(
1−p)
1−x1
×px2
(1−p
)1−x
2×..
.×px
n(1−
p)1−
xn將上式化簡，我們得到： l(
p)=p
∑xi(
1−p)
n−∑x
i 在實際應用中，為了求解方便，一般使用似然函式的對數。 ln
(l(p
))=l
n(p∑
xi(1
−p)n
−∑xi
)=(∑
xi)l
n(p)
+(n−
∑xi)
ln(1
−p)
我們知道，對數函式是單調遞增的。這意味著使得ln(l(p))獲得極大值的p也是使得l(p)獲得極大值的p。下圖為對數函式的影象。
利用一元函式求極大值的方法，對上式兩邊求p的導數，並令其等於0： ∂l
n(l(
p))∂
p=∑x
ip−(
n−∑x
i)1−
p≡0
兩邊乘以p(1-p)，得到： (∑
xi)(
1−p)
−(n−
∑xi)
p=0
化簡後： ∑x
i−np
=0需要說明的是，這裡的p實際上是我們估計的p，因此使用如下的符號： p^
=∑xi
n=∑n
i=1x
in假設我們隨機觀察了30個學生的樣本，樣本集為：
通過上述的極大似然估計方法，可以求出預估的引數為：p^
=∑ni
=1xi
n=530
=0.167
再來看另乙個例子：
假定該高校男生的體重呈均值為
μ ，標準差為
σ 的正態分佈。我們獲得了隨機取樣10個男學生的體重如下（單位：斤）：
序號體重
1115
2122
3130
4127
5149
6160
7152
8138
9149
10180
正態分佈的概率密度函式為： f(
xi;μ
,σ2)
=1σ2
π−−√
exp[
−(xi
−μ)2
2σ2]
根據上面的定義，似然函式是概率質量函式（離散隨機變數）或概率密度函式（連續隨機變數）的乘積，因此：l(
μ,σ)
=1σn
(2π−
−√)n
exp[
−12σ
2∑i=
1n(x
i−μ)
2]我們把上式的似然函式可以看作是引數θ1
和θ2 的函式，其中：θ1
=μ,θ
2=σ2
因此，似然函式可以改寫為：l(
θ1,θ
2)=∏
i=1n
f(xi
;θ1,
θ2)=
θ−n/
22(2
π)−n
/2ex
p[−1
2θ2∑
i=1n
(xi−
θ1)2
] 而相應的對數似然函式則為：lo
gl(θ
1,θ2
)=−n
2log
θ2−n
2log
(2π)
−∑ni
=1(x
i−θ1
)22θ
2 這是乙個關於θ1
和θ2 的二元函式，根據二元函式求極值的方法，先求θ1
的偏導數（partial derivative），然後設偏導數為0。我們得到：∂l
ogl(
θ1,θ
2)∂θ
1=−2
∑ni=
1(xi
−θ1)
2θ2=
0 ∑i
=1n(
xi−θ
1)=0
∑i=1nxi
−nθ1
=0由此我們得到引數θ1
的極大似然估計是： θ1
^=μ^
=∑ni
=1xi
n=x¯
現在對θ2
求偏導數（partial derivative），然後設偏導數為0。我們得到：∂l
ogl(
θ1,θ
2)∂θ
2=−n
2θ2+
∑ni=
1(xi
−θ1)
22θ2
2=0
兩邊同時乘以2θ
22 ：−
nθ2+
∑i=1
n(xi
−θ1)
2=0
由此得到引數θ2
的極大似然估計是： θ2
^=σ^
2=∑(
xi−θ
1)2n
=∑(x
i−x¯
)2n
概括起來，我們已經求出了均值
μ 和方差σ2
的最大似然估計： μ^
=∑xi
n=x¯
,σ^2
=∑(x
i−x¯
)2n
你發現沒有，這實質上就是教科書中均值和方差的計算公式！
最後我們根據樣本資料，計算
μ 和方差
σ ： μ^
=∑xi
n=142.2,σ
^2=∑
(xi−
x¯)2
n=18.654
於是，我們得到求極大似然估計的一般步驟：
- 根據設定概率模型，寫出聯合概率形式的似然函式
- 對似然函式取對數，並整理
- 求導數或偏導數，並賦值為0
- 求解方程
最後，談談「似然估計」的使用前提：
- 已經假定了概率模型，如二項分布，正態分佈等；
- 已經有了一些觀察結果的集合。
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...