貝葉斯估計與極大似然估計在思想上有很大的不同，代表著統計學中貝葉斯學派和頻率學派對統計的不同認識。
極大似然估計是頻率學派觀點，它的觀點可以這樣理解：待估計引數θ
\theta
θ是客觀存在的，只是未知而已，已知觀測樣本 d
dd，求得 θ
^\hat
θ^，使得在 θ=θ
^\theta = \hat
θ=θ^
時，產生觀測樣本資料 d
dd 的可能性最大，我們就說 θ
^\hat
θ^是 θ
\theta
θ 的極大似然估計。
θ ^=
argmaxθ
p(d∣
θ)\hat = arg\ }}\ p(d|\theta)
θ^=arg
θmax
p(d
∣θ)貝葉斯估計是貝葉斯學派觀點，它的觀點可以這樣理解：待估計引數 θ
\theta
θ 也是隨機變數，因此只能根據觀測樣本估計引數 θ
\theta
θ 的分布。
p ^(
θ∣d)
=p(θ
)p(d
∣θ)p
(d)=
p(θ)
p(d∣
θ)∑j
=1np
(θj)
p(d∣
θj)\begin \hat(\theta|d)&=\frac \\ &= \fracp(\theta_j)p(d|\theta_j)} \end
p^(θ∣d
)=p
(d)p
(θ)p
(d∣θ
)=∑
j=1n
p(θ
j)p
(d∣θ
j)p
(θ)p
(d∣θ
)其中，p(θ
)p(\theta)
p(θ)
是 θ\theta
θ 的先驗分布。由於後驗分布是乙個條件分布，通常我們取後驗分布的期望作為引數的估計值。
因此，極大似然估計是在觀測樣本資料 d
dd 後，求出 θ
\theta
θ 最有可能的值(即在這個值下，觀測到d
dd的可能性最大)；而貝葉斯估計則是在假定θ
\theta
θ服從p(θ
)p(\theta)
p(θ)
的先驗分布下(對於極大似然估計來說，預設θ
\theta
θ是均勻分布的)，通過觀測樣本資料d
dd, 求出 θ
\theta
θ 的後驗分布。
其實，可以簡單地把兩者聯絡起來，假設先驗分布是均勻分布，取後驗概率最大，就能從貝葉斯估計得到極大似然估計。
極大似然估計和貝葉斯估計
假設 存在乙個先驗分布g 那麼 的後驗分布為 f x g f x g d 最大後驗概率估計 即為 後驗概率分布的眾數 m ap x ar gmax f x g 可以看做正則化的最大似然估計，當g是常數時兩者等價 極大似然估計和貝葉斯估計分別代表了頻率派和貝葉斯派的觀點。頻率派認為，引數是客觀存在的，...
極大似然估計和貝葉斯估計
序言 然後根據資料來求出這個 而貝葉斯估計的難點在於p p 需要人為設定，之後再考慮結合map map maximum a posterior 方法來求乙個具體的 所以極大似然估計與貝葉斯估計最大的不同就在於是否考慮了先驗，而兩者適用範圍也變成了 極大似然估計適用於資料大量，估計的引數能夠較好的反映...
7 極大似然估計與貝葉斯估計
對於乙個正態總體 n mu,sigma 2 若其中兩個引數未知，而我們卻擁有一組資料的觀測值，我們設 mu theta 1,sigma 2 theta 2 由一元正態分佈的概率密度函式我們容易得出此式 f x theta 1,theta 2 sqrt exp left x theta 1 2 rig...