所謂概率圖模型,就是指運用了概率和圖這兩種工具建立的模型(逐漸忘記標題),咳咳,今天講一下限制玻爾茲曼機,或者叫做受限玻爾茲曼機,這個名字起的真是,。。,好的,咳咳
所謂玻爾茲曼機,就是就是玻爾茲曼家的機,就是說玻爾茲曼這個人發明了一種模型,一種機器,所以叫做玻爾茲曼機器,簡稱玻爾茲曼機。而受限玻爾茲曼機和玻爾茲曼機有什麼區別呢?顧名思義,受限玻爾茲曼機多了個限制,那是**限制了呢?原來在玻爾茲曼機裡,隱變數和觀測變數這兩種節點之間是沒有差別的,每個節點都和其他的節點相連,如下圖:
受限玻爾茲曼機中的變數也分為隱藏變數和可觀測變數。我們分別用可觀測層和隱藏層來表示這兩組變數。同一層中的節點之間沒有連線,而不同層乙個層中的節點與另一層中的所有節點連線,這和兩層的
全連線神經網路的結構相同。
當然,也可以站著,像下面這樣
rbm
是無監督學習模型,有兩個層的淺層神經網路,乙個可見層,乙個隱藏層,是一種用於降維、分類、回歸、協同過濾、特徵學習和主題建模的演算法,它是組成深度置信網路的基礎部件。
所以:公式1
輸 出y
5=啟用
函式f(
x4×w
45+x3
×w35+
x2×w
25+x1
×w15+
b5)輸出y_5 = 啟用函式f(x_4 \times w_ + x_3 \times w_ + x_2 \times w_ + x_1 \times w_ + b_5)
輸出y5=
啟用函式
f(x4
×w4
5+x
3×w
35+
x2×
w25
+x1
×w15
+b5
)公式2輸出x
1=啟用
函式f(
y5×w
51+y6
×w61+
y7×w
71+a1
)輸出x1 = 啟用函式f(y_5 \times w_ + y_ \times w_ + y_ \times w_ + a_)
輸出x1=激
活函式f
(y5
×w51
+y6
×w6
1+y
7×w
71+
a1)
現在主要講一下計算過程,根據以上公式1, 將y5 ~ y7
都算出來,也就是將隱含層的值都算出來了,再根據隱含層的值,根據公式2,反推計算出重構值:x『1 ~ x』4
, 根據x『1 ~ x』4
再計算出y『5~y』6
,根據x
與x『
的差值,進行反向傳播,並更新權重和偏置(w, a, b
),根據y
與y『
的差值,也進行反向傳播,同理更新權重和偏置(線調上的是權重,圓圈裡的是偏置),經過數次的計算和更新,反覆的迴圈,直到x
與x『
,y
與y『
近乎相等為止,此時便構建好了限制玻爾茲曼機的模型。
由於一般rbm的隱藏層的神經元個數會比可見層的神經元個數少,而在反向運算中,較少神經元的隱藏層又能夠近似復現原始可見層的輸入,因此,可以認為前向運算是對輸入訊號的編碼,特徵提取的過程,而反向運算是解碼的過程。
關於rbm的特點總結如下:
受限玻爾茲曼機(RBM)原理總結
在前面我們講到了深度學習的兩類神經網路模型的原理,第一類是前向的神經網路,即dnn和cnn。第二類是有反饋的神經網路,即rnn和lstm。今天我們就總結下深度學習裡的第三類神經網路模型 玻爾茲曼機。主要關注於這類模型中的受限玻爾茲曼機 restricted boltzmann machine,以下簡...
受限玻爾茲曼機二
限制波爾茲曼機rbm使用方法 限制波爾茲曼機rbm能量模型 從能量模型到概率 求解極大似然 用到的抽樣方法 馬爾科夫蒙特卡羅簡介 參考文獻 利用上面的公式得到的是某個單元狀態為1的輸出概率。那麼怎樣才能確定這個單元的狀態是1呢?它通過產生乙個0 1的隨機,如果這個隨機數小於上面得到的概率值,這個單元...
受限玻爾茲曼機二
博主falao beiliu寫的一篇非常好的文章。這裡為方便自己以後速查,做個導航。原文目錄 限制波爾茲曼機rbm使用方法 限制波爾茲曼機rbm能量模型 從能量模型到概率 求解極大似然 用到的抽樣方法 馬爾科夫蒙特卡羅簡介 參考文獻 利用上面的公式得到的是某個單元狀態為1的輸出概率。那麼怎樣才能確定...