先說一下rbm(restricted boltzmann machine)是指受限玻爾茲曼機，是一種基於隨機神經網路來解釋的概率圖模型。hinton在2023年提出dbn(deep belief network)後，dbn和rbm在機器學習界引起了很廣泛的應用。
蒙特卡洛方法
解釋參考[1]。
具體思想：求函式h(x)的積分，窮舉不現實，通過取樣來逼近積分。將h(x)拆成f(x)和p(x)的乘積，其中p(x)是(a,b)上的乙個概率密度函式，那麼整個積分轉換成求f(x)在p(x)概率密度下的期望。如果我們取樣一些樣本點，使得這些樣本點接近於p(x)的分布，那麼就可以逼近這個期望，也就是最初要求解的積分。
下面留給我們的問題就是怎麼得到這些樣本點，均勻分布、正態分佈的取樣已經可以很好地實現。但是任意分布p(x)呢？方法是馬爾科夫鏈蒙特卡羅方法(mcmc)
mcmc
下面是一大長串來解釋馬爾科夫鏈：
解釋參考[1]。
馬爾科夫鏈
基本思想：馬爾科夫鏈是指這樣乙個狀態序列，滿足一下幾個條件 1）每個狀態在每個時刻有n種狀態進行選擇。2）每兩個狀態之間有一定概率相互轉換。 3）當前狀態的下乙個選擇只依賴於當前狀態。
設狀態數目是n，由狀態轉移矩陣可以得到（1.12）那個轉移公式。
馬爾科夫過程有這麼幾種型別：週期性、不可約、各態遍歷。
其中各態遍歷會收斂到乙個穩定的分布，不會再改變。這也是mcmc的基本思想：我們想要取樣分布p，只需要模擬以p為平穩分布的馬爾科夫過程即可，無論初值是啥，足夠多次轉移後都會收斂到該平穩分布。
metropolis-hastings 取樣演算法
mcmc演算法下一步的關鍵就是根據平穩分布p，設計出合適的狀態轉移矩陣，也就是metropolis-hastings 取樣演算法, 他是乙個通用的取樣框架，且效果取決於轉移分布q的選取。詳細證明推導如下圖：
mcmc中，metropolis-hastings 取樣演算法的乙個問題是q的選取，如果α
\alpha
α的值一直比較小會，使得馬爾科夫過程轉換比較慢，使得收斂變慢。因此提出gibbs取樣。
gibbs sampling 適用於變數維度特徵高於一維的情況，即要擬合的分布概率密度p(x)中的x是多維變數，x=(
x1,x
2...
xm)x=(x_1,x_2...x_m)
x=(x1
,x2
...x
m), p(x)是聯合概率分布。gibbs sampling 通過條件概率取樣擬合聯合概率，再由聯合概率推出條件分布，迭代迴圈。
這樣每次迭代x不斷變化，得到乙個馬爾科夫鏈，穩定後，我們迭代取n個，即是我們需要取樣的n個樣本，擬合聯合概率分布p(x)。
參考部落格 :
[1]
android涉及的基礎知識等擴充套件內容總結記錄
一 dp 和 sp 的區別 由於手機螢幕解析度各有不同，而且無法調整當前手機的解析度，因此，android sdk提供了dp 和 sp 兩個尺寸單位來根據解析度調整元件和字型的大小。dp 和 sp 都是相對於160 dpi 的尺寸單位的。160 dpi 相當於每英吋螢幕上有160個物理畫素點，一般3...
電腦的基礎知識 電腦的基礎知識
電腦的組成部分與其作用 一 軟體系統 軟體系統的組成分別是 作業系統 應用軟體等。其應用軟體是指特定領域開發 並為特定目的服務的一類軟體。而作業系統是位於底層硬碟與使用者之間溝通的橋梁。使用者可以通過作業系統的使用者頁面，輸入命令，實現使用者需求。二 硬體系統 硬體系統是指構成計算機的物理裝置，即由...
TCP UDP的簡單相關基礎知識點涉及聊天室的實現
1.計算機網路 多台計算連線起來，資源共享和資訊傳遞。網路程式設計 就是用來實現網路互聯的不同計算機上執行的程式間可以進行資料互動。2.網路三要素 ip位址 inetaddress，網路號段 主機號段 埠號 協議 udp tcp 3.socket socket 網路上具有唯一的標識，ip 埠構成的識...