boltzmann機是一種反饋隨機神經網路
兩種輸出狀態，單極性0或1。輸出狀態的取值根據概率統計法則決定，這種概率統計法則類似boltzmann分布，部分反饋
它在神經元狀態變化中引入了統計概率，網路的平衡狀態服從boltzmann分布，網路執行機制基於模擬退火演算法。
離散hopfield神經網路+模擬退火+隱單元=boltzman機
dhnn全反饋，轉移函式：符號函式
bm機網路拓撲結構
可見節點、隱節點（不可見節點），部分反饋，對稱權值，wij = wji,wii=0
神經元轉移概率函式
神經元淨輸入為： ne
tj=∑
i(wi
j−tj
) net
j=∑i
(wij
−tj)
輸出狀態1的轉移概率 pj
(1)=
11+e
−net
j/t pj(
1)=1
1+e−
netj
/t輸出狀態0的轉移概率 pj
(0)=
1−pj
(1) pj(
0)=1
−pj(
1)如果ne
tj=0
n et
j=0，則p
j(1)
=pj(
0)=1
1+e0
=0.5
p j(
1)=p
j(0)
=11+
e0=0.5
netj
n et
j越大，pj(
1)p j(
1)越大;net
j netj
越小，pj(
0)p j(
0)越大，單調增加
t越大曲線越平緩，越小越陡峭，t=0退化為符號函式
神經元狀態概率與淨輸入和溫度的關係
bm機能量函式與dhnn相同： e(
t)=−
12xt
(t)w
x(t)
+xt(
t)t e(t
)=−1
2xt(
t)wx
(t)+
xt(t
)t=−12∑j=
1n∑i
=1nw
ijxi
xj+∑
i=1n
tixi
= −1
2∑j=
1n∑i
=1nw
ijxi
xj+∑
i=1n
tixi
設 bm 機按非同步方式工作 ，每次第 j 個神經元改變狀態 ，根據推導出的公式有： δe
(t)=
−δxj
(t)n
etj(
t)δ e(
t)=−
δxj(
t)ne
tj(t
)對於 bm 機 ， 隨著網路狀態的演變 ， 從概率的意義上網路的能量總是朝著減小的方向變化
儘管網路能量的總趨勢是向著減小的方向演變 ，但不排除在有
些步神經元狀態可能會按小概率取值 ， 從而使網路能量暫時增加 。
正是因為有了這種可
能性 ， bm 機才具有了從區域性極小的低谷中跳出的 「爬山」能力 ，這一點是 bm 機與
d hnn 網能量變化的根本區別 。 由於採用了神經元狀態按概率隨機取值的工作方式 ，
bm 機的能量具有不斷跳出位置較高的低谷搜尋位置較低的新低谷的能力 。 這種執行方
式稱為搜尋機制 ， 即網路在執行過程中不斷地搜尋更低的能量極小值 ， 直到達到能量的全
局最小 。
bm 機的 boltzmann 分布 設x
j=1 xj=
1時對應的網路能量為e1
e 1,x
j=0 xj=
0時對應的網路能量為e0
e
0， p
j(0)
pj(1
)=e−
e0/t
e−e1
/tp j(
0)pj
(1)=
e−e0
/te−
e1/t
神經網路學習筆記
隱含層數越多，越容易擬合複雜函式 為了擬合複雜函式需要的隱含節點數目，基本上隨著隱含層數目的增加呈現指數下降的趨勢，也就是說層數越多，神經網路所需要的隱含節點可以越少。層數越深，概念越抽象，需要背誦的知識點 神經網路的隱含節點 就越少。但是，層數越多，容易出現過擬合以及引數難以除錯以及梯度瀰散的問題...
神經網路學習筆記
sigmoid函式是一種常見的擠壓函式，其將較大範圍的輸入擠壓到 0 1 區間內，其函式的表示式與形狀如下圖所示 該函式常被用於分類模型，因為其具有很好的乙個特性f x f x 1 f x 這個函式也會被用於下面的神經網路模型中做啟用函式。生物的神經網路系統中，最簡單最基本的結構是神經元。每個神經元...
神經網路 學習筆記
神經網路是用來解決分類問題的模型。他與感知機有著緊密的聯絡。神經網路中，神經元接收到的總輸入將與神經元的閾值進行比較，然後通過 啟用函式 處理以產生神經元的輸出。最理想的啟用函式是階躍函式，但是他不連續，不光滑，所以，採用sigmoid函式來進行替代。感知機只有輸出層神經元進行啟用函式處理，即只擁有...