首先來看乙個例子，設有兩個完全相同的盒子a和b，其中，盒子a中有99個白球，1個黑球；盒子b中有99個黑球，乙個白球。今隨機抽取一箱，並從中抽取一球，結果取得的是白球，問這個球從哪個箱子取出？
對於這個例子，想必大多人會說，是從盒子a中取出的，因為盒子a中有99%是白球，而盒子b中的白球僅佔1%，所以盒子a的可能性遠遠大於b。換言之，這個球「更像」盒子a中取出的。這裡的「更像」即為最大似然之原意。（』最大似然』這個名字聽起來更高大上，僅此而已）。
所以說起來，最大似然估計就是讓出現這件事情的概率達到最大的那個假設。
當然，問題不會總是這麼簡單。我們再來看乙個例子。
我們用隨機變數x來表示某產品經過檢查後的不合格數，x=0為合格，x=1為不合格，那麼x則服從二點分布，即x~b(1,p)，這裡p為不合格率（二點分布的意思就是合格的概率是1-p，不合格的概率是p）。先抽取n各產品，檢查結果為x1,x2,…,xn，讓我們估計p的大小。
首先，檢查結果為x1,x2,…,xn的概率為： l(
p)=π
ni=1
pxi(
1−p)
1−xi
l (p
)=πi
=1np
xi(1
−p)1
−x
i這裡，我們欲估計的p應該使得上式的值最大，即出現這種檢查結果的概率最大。記之為l(p)，稱作最大似然函式。我們欲求l(p)取得最大值時的p。
對其取對數後求導並令其為0，得： σn
i=1x
ip−n
−σni
=1xi
1−p=
0 σi=
1nxi
p−n−
σi=1
nxi1
−p=0
解得p的最大似然估計，為p¯
¯¯=σ
ni=1
xin=
x¯¯¯
p ¯=
σi=1
nxin
=x
¯以上即為求最大似然估計的基本思路。對離散總體，設有樣本觀測值x1,x2,…,xn，我們寫出該觀測值出現的概率，它依賴於某些引數，設這些引數為 θ ，將該概率看作 θ 的函式，又稱作似然函式，即 l(
θ)=p
(x1=
x1,x
2=x2
,...
,xn=
xn;θ
) l(θ
)=p(
x1=x
1,x2
=x2,
...,
xn=x
n;θ)
求最大似然估計就是找 θ 的估計值，使得l(θ)達到最大。通常來講，將似然函式取對數後求導是最大似然估計最常用的方法。
mle是一種非常有效的引數估計方法，但當分布中有多於引數或資料缺失時，利用上述方法求mle是比較困難的。於是，2023年，dempster等人提出了em演算法。
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...