在機器學習中，經常遇到需要對複雜分布進行近似的情況。目前常用的近似演算法主要有三種：拉普拉斯近似、變分近似、gibbs取樣。其中拉普拉斯近似演算法是用乙個高斯分布來近似原始分布，當原始分布比較簡單的時候效果會較好。
用乙個高斯分布
近似一組連續變數上的概率密度分布。變數z
，假設分布為p(
z)=1
zf(z
) ，其中z=
∫f(z
)dz 是歸一化項。拉普拉斯演算法的目標是找到乙個高斯近似分布q(
z)，q(z
) 以p(
z)的峰為中心。第一步：找p(
z)的乙個峰z0
，p′(
z0)=
0 。第二步： 高斯分布的log是乙個二次函式，所以對lnf
(z) 進行泰勒展開，以z0
為中心： ln
f(z)
≃lnf(
z0)−
12a(
z−z0
)2,a
=−d2
dz2ln
f(x)
∣∣∣z
=z0
兩邊取指數： f(
z)≃f
(z0)
exp
歸一化高斯函式： q(
z)=(
a2π)
1/2exp
近似分布p(
z)=f
(z)/
z 。泰勒展開，以z0
=▽f(
z)為中心: ln
f(z)
≃lnf(
z0)−
12(z
−z0)
⊤a(z
−z0)
,a=−
▽▽lnf
(z)|
z=z0
兩邊取指數： f(
z)≃f
(z0)
exp
歸一化高斯函式： q(
z)=|
a|1/
2(2π
)m/2
exp=n(
z|z0
,a−1
)
拉普拉斯近似演算法小結
在機器學習中，經常遇到需要對複雜分布進行近似的情況。目前常用的近似演算法主要有三種 拉普拉斯近似 變分近似 gibbs取樣。其中拉普拉斯近似演算法是用乙個高斯分布來近似原始分布，當原始分布比較簡單的時候效果會較好。用乙個高斯分布近似一組連續變數上的概率密度分布。變數z 假設分布為p z 1 zf z...
拉普拉斯運算元 拉普拉斯方程之美
物理學有它自己的羅塞塔石碑。它們是連線宇宙間看上去不同的領域的天書，它們將任何物理學分支同純粹數學聯絡起來。拉普拉斯方程就是其中之一 它幾乎無處不在 在電磁學 在流體力學 在引力 在熱學 在肥皂泡 拉普拉斯方程是以法國數學家pierre simon laplace 皮埃爾 西蒙 拉普拉斯 的名字命名...
貝葉斯推斷之拉普拉斯近似
p w t,x frac 分母 p t x 是與引數 w 無關，可視為常量。定義函式 g 如下 g w x,t,sigma 2 p t x,w p w sigma 2 因此，g 與 p w t,x 之比為常數。上文介紹了點估計法求解 p w t,x 本文介紹拉普拉斯近似法求解 p w t,x 由於沒...