\[p(w|t,x)=\frac
\]分母\(p(t|x)\)是與引數 \(w\)無關，可視為常量。
定義函式\(g\)如下：
\[g(w;x,t,\sigma^2)=p(t|x,w)p(w|\sigma^2)
\]因此，\(g\)與\(p(w|t,x)\)之比為常數。上文介紹了點估計法求解\(p(w|t,x)\)。本文介紹拉普拉斯近似法求解\(p(w|t,x)\)。
由於沒法直接求解\(p(w|t,x)\)，轉而求解\(g(w;x,t,\sigma^2)\)，拉普拉斯近似就是首先假設函式\(log(g(w;x,t,\sigma^2))\)服從高斯分布，然後通過泰勒展開公式，將\(log(g(w;x,t,\sigma^2))\)在\(w^*\)處展開。\(w^*\)就是上文使用牛頓法求得的最優引數。
高斯分布的數學表示式如下：
\[\frac}exp(-\frac)
\]若知道了均值\(u\)和方差\(\sigma^2\)，也就求得了\(g\)的高斯分布形式。
根據上文介紹在\(w^*\)處，\(log(g(w;x,t,\sigma^2))\)的一階導數等於0，二階導數小於0（對於多元函式，則是黑賽矩陣負定）。因此，對它進行二階泰勒展開如下：
由於一階導數為0，化簡為：
公式(1)
其中，\(v\)如下：
對高斯分布的數學表示式取對數：
\[logk-\frac (公式2)
\]其中，\(k=\frac}\)是乙個常數。對比公式1 \(log(g(w;x,t,\sigma^2))\) 和 公式2，求得高斯分布引數：
\(u=w^*\)至此，我們就求解出了函式\(log(g(w;x,t,\sigma^2))\)的高斯分布，而\(g\)與\(p(w|t,x)\)之比為常數，也就求得了後驗概率\(p(w|t,x)\)的分布了。\(\sigma^2=\frac\)
對於乙個新樣本\(x_\)，將它歸為負類的概率為：\(p(t_=1|x_,x,t,\sigma^2)\)
而這個概率就是計算： \(p(w|t,x)\)所服從的分布的期望。為什麼是計算 期望呢？因為引數\(w\)不是單個具體的值了，而是乙個隨機變數了，\(w\)的函式服從高斯分布。而期望的數學意義是「平均」，因此將期望值作為「歸類為負類的概率」更準確（capture more uncertainty）
通過前面的拉普拉斯近似，我們知道它服從正態分佈：
\(p(w|t,x)\)~\(n(u,\sigma^2)\)故：若\(w\)是對於多元變數，則
\(p(w|t,x)\)~\(n(u, \sigma)\)，其中\(u\)是個向量，\(\sigma\)是個矩陣
高斯分布是個連線型隨機變數的分布，因此求解高斯分布的期望值，就是對概率密度函式進行積分，顯然概率密度函式是個關於\(w\)的函式，然而由於：
\[p(t_=1|x_,w^*)=\frac)}
\]對\(w\)的積分值無法計算出來，即無法求解出：\(e_(p(t_=1|x_,w))\)
幸運的是，我們求解的是高斯分布的期望值，於是選取 \(n_s\)個樣本來近似計算期望值：
從而，求得了**概率。至此，使用拉普拉斯近似法 求解 後驗概率分布就介紹完畢了。
點估計法求解出來的後驗概率是乙個具體的關於\(w\)的函式，而拉普拉斯近似法求解出來的後驗概率是乙個服從高斯分布的隨機變數。
在點估計法中，decision boundary是一條條的直線，而由於隨機變數的不確定性，拉普拉斯近似法得出的decision boundary有很多是彎曲的：
拉普拉斯近似法是計算後驗概率的另一種方法。它首先假設後驗概率\(p(w|t,x)\) 服從高斯分布。然後，將與後驗概率\(p(w|t,x)\) 相比為常數的 函式 \(g(w;x,t,\sigma^2)\) 的log形式 在 \(w^*\)處進行泰勒展開，從而求解出這個高斯分布。
\(w^*\)則是通過上文中提到的牛頓法求解出來的。
有了這個高斯分布之後，對於每乙個新樣本，計算該高斯分布的期望值，就是模型對這個新樣本的**值。
原文：
拉普拉斯近似演算法小結
在機器學習中，經常遇到需要對複雜分布進行近似的情況。目前常用的近似演算法主要有三種 拉普拉斯近似 變分近似 gibbs取樣。其中拉普拉斯近似演算法是用乙個高斯分布來近似原始分布，當原始分布比較簡單的時候效果會較好。用乙個高斯分布近似一組連續變數上的概率密度分布。變數z 假設分布為p z 1 zf z...
拉普拉斯近似演算法小結
在機器學習中，經常遇到需要對複雜分布進行近似的情況。目前常用的近似演算法主要有三種 拉普拉斯近似 變分近似 gibbs取樣。其中拉普拉斯近似演算法是用乙個高斯分布來近似原始分布，當原始分布比較簡單的時候效果會較好。用乙個高斯分布 近似一組連續變數上的概率密度分布。變數z 假設分布為p z 1 zf ...
拉普拉斯運算元 拉普拉斯方程之美
物理學有它自己的羅塞塔石碑。它們是連線宇宙間看上去不同的領域的天書，它們將任何物理學分支同純粹數學聯絡起來。拉普拉斯方程就是其中之一 它幾乎無處不在 在電磁學 在流體力學 在引力 在熱學 在肥皂泡 拉普拉斯方程是以法國數學家pierre simon laplace 皮埃爾 西蒙 拉普拉斯 的名字命名...