rbm定義的能量函式和概率函式為： e(
v,h)
=−∑i
aivi
−∑jb
jhj−
∑i,j
wijv
ihj
p(v,
h)=e
xp(−
e(v,
h))∑
v,he
xp(−
e(v,
h))
觀察資料v的log概率函式為
logp(v
)=log∑he
xp(−
e(v,
h))∑
u,he
xp(−
e(u,
h))
∂logp(
v)∂w
ij=∑
h(ex
p(−e
(v,h
)∗vi
∗hj)
)∑he
xp(−
e(v,
h))−
∑u,h
(exp
(−e(
u,h)
∗ui∗
hj))
∑u,h
exp(
−e(u
,h))
=∑hp
(h|v
)vih
j−∑u
,hp(
u,h)
uihj
可以看出，第一項為在觀察資料v條件概率下i節點和j節點狀態乘積的期望值，該項為正值（positive）；第二項為自由狀態下i節點與j節點狀態乘積的期望值，該項為負值（negative）。
計算期望值採用的是mcmc取樣演算法。
然而在自由狀態下，第二項mcmc收斂到平衡狀態的速度不快（inefficient），因為當前的平衡狀態是當前w等引數決定的平衡狀態，並不是最優引數對應的平衡狀態。後來pcd、cd-k等高效演算法被提了出來。
對比散度博文
基礎演算法 受限玻爾茲曼機 RBM
所謂概率圖模型，就是指運用了概率和圖這兩種工具建立的模型 逐漸忘記標題 咳咳，今天講一下限制玻爾茲曼機，或者叫做受限玻爾茲曼機，這個名字起的真是，好的，咳咳 所謂玻爾茲曼機，就是就是玻爾茲曼家的機，就是說玻爾茲曼這個人發明了一種模型，一種機器，所以叫做玻爾茲曼機器，簡稱玻爾茲曼機。而受限玻爾茲曼機和...
深度學習方法 受限玻爾茲曼機RBM（一）基本概念
要學習rbm需要的一些基本的統計學習基礎，包括貝葉斯定理，隨機取樣方法 gibbs sampling 等。這些可以翻閱我之前寫的一些博文可以看到相關的介紹，在本文中就不具體展開了。總體來說rbm還是相對比較獨立的乙個演算法，不需要依賴太多的先驗知識。受限玻爾茲曼機 restricted boltzm...
演算法的學習步驟
對於程式設計的初學者，可以先通過簡單的排序演算法了解最簡單的adt 原生資料型別 線性表的常用操作 然後要重點掌握遞迴技術,包括遞迴和遞推的相互轉換。遞迴技術非常重要，可以通過遞迴技術了解adt棧的操作 接著學習搜尋法的初步 回溯法，研究經典問題八皇后問題和走迷宮問題，通過這些經典問題了解深度優先搜...