假設x~b(4,p)，其中引數p未知，x的所有可能取值為0,1,2,3,4，現在抽取三個樣本，取值分別為1,2,1，記為事件a，那麼p等於多少比較合理呢？
應用概率論的思想，大概率事件發生的可能性比較大，現在事件a發生了，則可以認為a發生的概率比較大。即
p(a)=p(x1=1,x2=2,x3=1)=p(x1=1)p(x2=2)p(x3=1)=96*p4*(1-p)8
應該比較大。所以使得p(a)取值最大的那個p最合理。這就是極大似然估計的原理。
設x 1x_
x1、x2x_
x2、…、xnx_
xn為來自總體x
xx的簡單隨機樣本，x1x_
x1、x2x_
x2、…、xnx_
xn為樣本觀測值，稱
l (θ
)=∏i
=1np
(xi;
θ)
l(\theta )=\prod_^p(x_;\theta)
l(θ)=i
=1∏n
p(x
i;θ
)為引數θ
\theta
θ的似然函式。其中p
pp為概率密度函式。
引數θ
\theta
θ的似然函式l(θ
)l(\theta )
l(θ)
實際上就是樣本x1x_
x1、x2x_
x2、…、xnx_
xn恰好取觀測值x1x_
x1、x2x_
x2、…、xnx_
xn的概率。
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...
極大似然估計
在機器學習的領域內，極大似然估計是最常見的引數估計的方法之一，在這裡整理一下它的基本原理。極大似然估計從根本上遵循 眼見為實，這樣的哲學思想。也就是說，它嚴格地僅僅利用了已知的實驗結果，來估計概率模型中的引數。極大似然估計的計算過程非常簡單 1.寫出似然函式 2.求出使得似然函式取最大值的引數的值，...
極大似然估計
一 理論基礎 1 引例 某位同學與一位獵人一起外出打獵，乙隻野兔從前方竄過。只聽一聲槍響，野兔應聲到下，如果要你推測，這一發命中的子彈是誰打的？你就會想，只發一槍便打中，由於獵人命中的概率一般大於這位同學命中的概率，看來這一槍是獵人射中的。這個例子所作的推斷就體現了極大似然法的基本思想。2 簡介 極...