最大後驗
本文次從貝葉斯的角度，觀察和認識誤差函式和正則化多項式擬合問題可以等價於誤差最小化問題
問題描述：曲線擬合問題的目標是：根據
n 個輸入 x=
(x1,
...,
xn)t
組成的資料集和對應的目標值 t=
(t1,
...,
tn)t
，在給出新的輸入變數
x 的新值的情況下，**目標變數 t
貝葉斯的角度：用目標變數值的概率分布來表示不確定性。為此，可以假設，對於給定的
x 的值，對應的目標變數
t是具有與多項式曲線 y(
x,w)
的值相等的均值的高斯分布，用公式表達就是： p(
t|x,
w,β)
=n(t
|y(x
,w),
β−1)
該分布的方差的逆是精度（precision）引數
β 使用訓練資料 x,
t ，並通過最大似然來確定未知引數 w,
β 似然函式： p(
t|x,
w,β)
=∏n=
1nn(
tn|y
(xn,
w),β
−1)
對數似然：lnp
(t|x
,w,β
)=−β
2∑n=
1n2+
n2lnβ
−n2ln
(2π)
考慮最大似然解，記作 wm
l ，是對於
w 的最大化得到的
忽略與
w無關的項，上式最右2項。
最大後驗估計MAP
概念 在貝葉斯統計學中，最大後驗 maximum a posteriori，map 估計可以利用經驗資料獲得對未觀測量的點態估計。它與fisher的最大似然估計 maximum likelihood，ml 方法相近，不同的是它擴充了優化的目標函式，其中融合了預估計量的先驗分布資訊，所以最大後驗估計可...
最大後驗估計MAP
最大後驗估計map是最常用的幾個引數點估計之一，基本原理由貝葉斯定理而來，先看貝葉斯公式 p x p x p p x p left theta mid boldsymbol x right frac p x p x p x p 其中，我們將p p left theta right p 稱為先驗概率，...
最大似然估計，最大後驗估計
p a b 這個公式看下面韋恩圖就懂了 在事件 b 發生的條件下發生事件 a 的概率 p a b 就是 ab 同時發生的概率 p ab 比 b 發生的概率 p b p a b frac 形式上很明顯，這個公式是條件概率變形而來 p a b rightarrow p a b p b p ab p b ...