最大後驗估計map是最常用的幾個引數點估計之一，基本原理由貝葉斯定理而來，先看貝葉斯公式：
p (θ
∣x)=
p(x∣
θ)p(
θ)p(
x)
p\left(\theta \mid \boldsymbol x\right)=\frac
p(θ∣x)
=p(x
)p(x
∣θ)p
(θ)
其中，我們將p(θ
)p\left(\theta\right)
p(θ)
稱為先驗概率，即在事情發生之前，根據以往的經驗等推測未來此事件發生的概率；將p(θ
∣x
)p\left(\theta\right|\boldsymbol x)
p(θ∣x)
稱為後驗概率，即在事情發生之後，分析由各種原因導致發生的概率。
p (x
∣θ
)p\left(\boldsymbol x \mid \theta\right)
p(x∣θ)
就是極大似然估計mle的式子。
貝葉斯分類器就是根據先驗概率利用貝葉斯公式計算出各種分類的後驗概率，選擇最大的後驗概率所對應的分類結果。
貝葉斯公式可以形象的寫成：
後驗概率
=似然函式
⋅先驗概率
資料分布
\text=\frac\cdot\text}}
後驗概率
=資料分布
似然函式
⋅先驗概率
最大後驗估計map就是將後驗概率取得最大值時待估引數θ
\theta
θ的值θ
^\hat\theta
θ^作為引數的點估計。
這裡p (x
)p(x)
p(x)
與引數θ
\theta
θ沒有關係，因此我們只要求分子最大即可，即
θ ^m
ap
=argmaxθ
p(x∣
θ)p(
θ)p(
x)
=argmaxθ
p(x∣
θ)p(
θ)
=argmaxθ
=argmaxθ
\begin \hat_ &=\operatorname_ \frac \\ &=\operatorname_ p(x \mid \theta) p(\theta) \\ &=\operatorname_\ \\ &=\operatorname_\left\ \log p(x \mid \theta)+\log p(\theta)\right\} \end
θ^map
=ar
gmax
θp(
x)p(
x∣θ)
p(θ)
=ar
gmax
θp(
x∣θ)
p(θ)
=arg
maxθ
=ar
gmaxθ
最大後驗估計MAP
概念 在貝葉斯統計學中，最大後驗 maximum a posteriori，map 估計可以利用經驗資料獲得對未觀測量的點態估計。它與fisher的最大似然估計 maximum likelihood，ml 方法相近，不同的是它擴充了優化的目標函式，其中融合了預估計量的先驗分布資訊，所以最大後驗估計可...
最大似然估計 MLE 與最大後驗估計 MAP
對於函式p x 從不同的觀測角度來看可以分為以下兩種情況 如果 已知且保持不變，x是變數，則p x 稱為概率函式，表示不同x出現的概率。如果x已知且保持不變，是變數，則p x 稱為似然函式，表示不同 下，x出現的概率，也記作l x 或l x 或f x 最大似然估計是已知模型服從某種分布，但不知道其某...
最大似然估計MLE和最大後驗估計MAP理解
1 頻率學派和貝葉斯派 頻率學派認為引數是固定而未知的，關心似然函式。貝葉斯派認為引數是隨機的有分布的，關心後驗分布。2 mle map公式 3 引數估計 mle 4 引數估計 map map與mle最大的不同在於p 引數 項，map將先驗知識加入，優化損失函式。5 mle map bayesian...