吉布斯取樣(Gibbs Sampling

2021-06-26 07:49:02 字數 1050 閱讀 8732

簡單理解吉布斯取樣的過程:

幾個可以學習gibbs sampling的方法

1,讀bishop的pattern recognition and machine learning,講的很清楚,但是我記得好像沒有例子。

2,讀artificial intelligence,2、3版,都有。但是我沒讀過。

3,最方便的,查wiki,這個說的最清楚。

這裡通俗點的解釋一下。首先,什麼是sampling。sampling就是以一定的概率分布,看發生什麼事件。舉乙個例子。甲只能e:吃飯、學習、打球,時間t:上午、下午、晚上,天氣w:晴朗、颳風、下雨。現在要乙個sample,這個sample可以是:打球+下午+晴朗。。。

問題是我們不知道p(e,t,w),或者說,不知道三件事的聯合分布。當然,如果知道的話,就沒有必要用gibbs sampling了。但是,我們知道三件事的conditional distribution。也就是說,p(e|t,w),p(t|e,w),p(w|e,t)。現在要做的就是通過這三個已知的條件分布,再用gibbs sampling的方法,得到joint distribution。

具體方法。首先隨便初始化乙個組合,i.e. 學習+晚上+颳風,然後依條件概率改變其中的乙個變數。具體說,假設我們知道晚上+颳風,我們給e生成乙個變數,比如,學習-》吃飯。我們再依條件概率改下乙個變數,根據學習+颳風,把晚上變成上午。類似地,把颳風變成颳風(當然可以變成相同的變數)。這樣學習+晚上+颳風-》吃飯+上午+颳風。

同樣的方法,得到乙個序列,每個單元包含三個變數,也就是乙個馬爾可夫鏈。然後跳過初始的一定數量的單元(比如100個),然後隔一定的數量取乙個單元(比如隔20個取1個)。這樣sample到的單元,是逼近聯合分布的。

詳細:http:

相關:1.slicing sampling: 

2. adaptive rejection sampling 

for gibbs 

sampling

;

3.markov chain monte carlo

4. 

吉布斯取樣

2013 05 10 14 16 45 分類 學術 舉報 字型大小訂閱 幾個可以學習gibbs sampling的方法 1,讀bishop的pattern recognition and machine learning,講的很清楚,但是我記得好像沒有例子。2,讀artificial intelli...

深度學習(六) 吉布斯取樣

吉布斯取樣也是用於高維空間的取樣方法。假設二維聯合概率分布 pi x x 在二維空間裡有兩個點,分別是 a x x 和 b x x 這兩個點的第乙個維度取值相同,放在直角座標系上看,它們兩的連線構成一條垂線。有如下成立 pi x x pi x mid x pi x pi x mid x pi x m...

從馬爾科夫鏈到吉布斯取樣與PageRank

馬爾科夫鏈表示state的鏈式關係,下乙個state只跟上乙個state有關。吉布斯取樣通過取樣條件概率分布得到的樣本點,近似估計概率分布p z pagerank通過節點間的連線,估計節點的重要程度 r 吉布斯取樣中,state代表不同的樣本點,state的分布就是p z pagerank中,sta...