深度學習（六）吉布斯取樣

吉布斯取樣也是用於高維空間的取樣方法。

假設二維聯合概率分布$\pi(x_,x_)$在二維空間裡有兩個點，分別是$a(x_^,x_^)$和$b(x_^,x_^)$，這兩個點的第乙個維度取值相同，放在直角座標系上看，它們兩的連線構成一條垂線。有如下成立：

$\pi (x_^,x_^)\pi (x_^\mid x_^)=\pi (x_^)\pi (x_^\mid x_^)\pi (x_^\mid x_^)$

$\pi (x_^,x_^)\pi (x_^\mid x_^)=\pi (x_^,x_^)\pi (x_^\mid x_^)$

即$\pi (a)\pi (x_^\mid x_^)=\pi (b)\pi (x_^\mid x_^)$

結論為：在$x_=x_^$這條直線上，若用條件概率分布$\pi (x_\mid x_^)$作為馬爾可夫鏈的轉移矩陣，則任意兩點之間的轉換滿足細緻平穩條件。更進一步的說明轉移矩陣中的元素如下：

$p(a\rightarrow b)=\pi (x_^\mid x_^),if x_^=x_^=x_^$

$p(a\rightarrow c)=\pi (x_^\mid x_^),if x_^=x_^=x_^$

$p(a\rightarrow d)=0,else$

其實就是說，乙個點，和它垂直或水平方向的另乙個點，都滿足細緻平穩條件。二維空間中任意兩個這樣的點，至多通過兩步就能達到，所以說平面上任意兩個點都滿足細緻平穩條件。

二維吉布斯取樣的過程就像乙個固執的小人，他可以到達平面上任意一點，但他只往水平或垂直方向走。它交替的固定某一維度，然後通過其他維度的值來抽樣該維度的值，把採的路徑畫出如下所示：

具體步驟為：

1）初始擁有：平穩分布$\pi(x_,x_)$，轉移次數$n_$，所需樣本數$n_$

2）任意取樣初始狀態值$x_^$，$x_^$

3）$for t=0 to n_+n_-1$：

a）從條件概率分布$p\left ( x_\mid x_^ \right )$中取樣得到樣本$x_^$

b）從條件概率分布$p\left ( x_\mid x_^ \right )$中取樣得到樣本$x_^$

c）從條件概率分布$p\left ( x_\mid x_^ \right )$中取樣得到樣本$x_^$

以上過程反覆進行，整個取樣過程為$(x_^,x_^)\rightarrow (x_^,x_^)\rightarrow (x_^,x_^)\rightarrow (x_^,x_^)$

最後得到樣本集為$(x_^},x_^}),(x_^+1},x_^+1}),(x_^+2},x_^+2}),..,(x_^+n_-1},x_^+n_-1})$

對於n維聯合概率分布$\pi(x_,x_,x_,x_,..,x_,x_)$，我們可以通過在n個座標軸上輪換來取樣，就像上面二維空間一樣，二維空間是橫座標和縱座標交替取樣，在n維里就是固定n-1個其他的維度，在某乙個維度上進行移動。對於輪換到的任意乙個座標軸上的轉移，馬爾可夫鏈的狀態轉移概率為$p\left ( x_\mid x_,x_,...,x_,x_,...,x_\right )$。取樣過程具體如下：

1）初始擁有：平穩分布$\pi(x_,x_,x_,x_,..,x_,x_)$，轉移次數$n_$，所需樣本數$n_$

2）隨機初始狀態值$x_^,x_^,x_^,...,x_^,$

3）$for t=0 to n_+n_-1$：

a）從條件概率分布$p\left ( x_\mid x_^,...,x_^...,x_^\right )$中取樣得到樣本$x_^$

b）從條件概率分布$p\left ( x_\mid x_^,x_^,...,x_^,...,x_^\right )$中取樣得到樣本$x_^$

c）從條件概率分布$p\left ( x_\mid x_^,x_^,...,x_^,x_^,...,x_^\right )$中取樣得到樣本$x_^$

j）從條件概率分布$p\left ( x_\mid x_^,x_^,...,x_^,...,x_^\right )$中取樣得到樣本$x_^$

n）從條件概率分布$p\left ( x_\mid x_^,x_^,...,x_^,x_^\right )$中取樣得到樣本$x_^$

深度學習（六）吉布斯取樣

吉布斯取樣

吉布斯取樣（Gibbs Sampling

從馬爾科夫鏈到吉布斯取樣與PageRank

深度學習（六） 吉布斯取樣

吉布斯取樣

吉布斯取樣（Gibbs Sampling

從馬爾科夫鏈到吉布斯取樣與PageRank

相關推薦

深度學習（六）吉布斯取樣