極大似然估計是在總體型別已知的條件下使用的一種引數估計方法。
首先是德國數學家高斯在2023年提出的，然而這個方法常歸功於英國統計學家費歇。
極大似然法的基本思想通過乙個例子說明：
乙個獵人和乙個二逼外出打獵，乙隻野兔從前方竄過，一聲槍響，野兔應聲倒下。如果要你推測，是誰打中的？你會如何想？
選擇乙個引數使得實驗結果有最大的概率
（1）若總體x屬離散型，其分布律p=
p(x;
θ),θ
∈θ的形式是已知，
θ 為待估引數，
θ 是
θ 可能取值的範圍。 設x
1,x2
,⋅⋅⋅
,xn 是來自
x 的樣本；則x1
,x2,
⋅⋅⋅,
xn的聯合分布律： ∏i
=1np
(xi;
θ)又設x1
,x2,
⋅⋅⋅,
xn 是x
1,x2
,⋅⋅⋅
,xn 的乙個樣本值;易知樣本x1
,x2,
⋅⋅⋅,
xn 取x
1,x2
,⋅⋅⋅
,xn 得概率，為事件
發生的概率為 l(
θ)=l
(x1,
x2,⋅
⋅⋅,x
n;θ)
=∏i=
1np(
xi;θ
)θ∈θ
它是θ 的函式，l(
θ)稱為樣本的似然函式
由最大似然估計法：固定x1
,x2,
⋅⋅⋅,
xn；挑選使得概率l(
θ)=l
(x1,
x2,⋅
⋅⋅,x
n;θ)
達到最大的引數 l(
x1,x
2,⋅⋅
⋅,xn
;θ)=
maxl
(x1,
x2,⋅
⋅⋅,x
n;θ)
θ 與x
1,x2
,⋅⋅⋅
,xn 有關，記θ(
x1,x
2,⋅⋅
⋅,xn
) ;稱其為引數
θ 的極大似然估計值。 θ(
x1,x
2,⋅⋅
⋅,xn
) 稱為引數
θ 的極大似然估計量
求引數的最大似然函式的步驟：1.寫出似然函式 l(
θ1,(
θ1,⋅
⋅⋅,θ
k)=l
(x1,
x2,⋅
⋅⋅,x
n;θ1
,⋅⋅⋅
,θk)
=∏i=
1nf(
xi;θ
1,⋅⋅
⋅,θk
)
2.取對數
3.將對數似然函式對各引數求偏導數並令其為零，得對數似然方程組。若總體分布中只有乙個未知引數，則為乙個方程，稱對數似然方程
4.從方程組中解出 θ
1,⋅⋅
⋅,θk
，並記為
機器學習（十八）極大似然估計
極大似然估計是在總體型別已知條件下使用的一種引數估計方法 它首先是由德國數學家高斯在1821年提出的,然而，這個方法常歸功於英國統計學家費希爾.費希爾在1922年重新發現了這一方法，並首先研究了這種方法的一些性質 極大似然估計的思想是 選取這樣的 使得當它作為未知引數 的估計時，觀察結果出現的可能性...
機器學習演算法 極大似然估計
極大似然估計 1.若總體x為離散型，其概率分布列為 其中 為為未知引數。設 是取自總體的樣本容量為n的樣本，則 的聯合分布律為 又設 的一組觀測值為 易知樣本 取到觀測值 的概率為 這一概率隨 的取值而變化，它是 的函式，稱 為樣本的似然函式。2.若總體x為連續型，其概率密度函式為 其中 為未知引數...
最大似然估計 極大似然估計
目錄最大似然估計 個人部落格 對於最大似然估計我們使用最簡單的拋硬幣問題來進行講解當我們拋一枚硬幣的時候,就可以去猜測拋硬幣的各種情況的可能性,這個可能性就稱為概率一枚質地均勻的硬幣,在不考慮其他情況下是符合二項分布的,即正面和翻面的概率都是0.5,那麼我們拋10次硬幣5次正面在上面的概率為 但是現...