前面我們講到了m-h取樣已經可以很好的解決蒙特卡羅方法需要的任意概率分布的樣本集的問題。但是m-h取樣有兩個缺點：一是需要計算接受率，在高維時計算量大。並且由於接受率的原因導致演算法收斂時間變長。二是有些高維資料，特徵的條件概率分布好求，但是特徵的聯合分布不好求。因此需要乙個好的方法來改進m-h取樣，這就是我們下面講到的gibbs取樣。
用下圖可以很直觀的看出，取樣是在兩個座標軸上不停的輪換的。當然，座標軸輪換不是必須的，我們也可以每次隨機選擇乙個座標軸進行取樣。不過常用的gibbs取樣的實現都是基於座標軸輪換的。
這裡通俗點的解釋一下。首先，什麼是sampling。sampling就是以一定的概率分布，看發生什麼事件。舉乙個例子。甲只能e：吃飯、學習、打球，時間t：上午、下午、晚上，天氣w：晴朗、颳風、下雨。現在要乙個sample，這個sample可以是：打球+下午+晴朗。。。
問題是我們不知道p(e,t,w)，或者說，不知道三件事的聯合分布。當然，如果知道的話，就沒有必要用gibbs sampling了。但是，我們知道三件事的conditional distribution。也就是說，p(e|t,w),p(t|e,w),p(w|e,t)。現在要做的就是通過這三個已知的條件分布，再用gibbs sampling的方法，得到joint distribution。
參考：
LDA中Gibbs取樣演算法和並行化
最近在用topic model跑一些資料，演算法採用了lda和plsa進行對比，由於資料量稍大，採用了lda的並行化版本，對其並行化方法很感興趣，檢視了相關資料後先總結如下，有時間可以繼續琢磨。gibbs sampling用來逼近lda中的隱式變數，是一種較為簡單的實現方式。gibbs 方法 傳統的...
降取樣，過取樣，欠取樣，子取樣，下取樣，上取樣
取樣 2048hz對訊號來說是過取樣了，事實上只要訊號不混疊就好 滿足尼奎斯特取樣定理 所以可 以對過取樣的訊號作抽取，即是所謂的 降取樣 在現場中取樣往往受具體條件的限止，或者不存在300hz的取樣率，或除錯非常困難等等。若 r 1，則rfs 2就遠大於音訊訊號的最高頻率fm，這使得量化雜訊大部分...
降取樣，過取樣，欠取樣，子取樣，下取樣，上取樣
取樣 2048hz對訊號來說是過取樣了，事實上只要訊號不混疊就好 滿足尼奎斯特取樣定理 所以可 以對過取樣的訊號作抽取，即是所謂的 降取樣 在現場中取樣往往受具體條件的限止，或者不存在300hz的取樣率，或除錯非常困難等等。若 r 1，則rfs 2就遠大於音訊訊號的最高頻率fm，這使得量化雜訊大部分...