能量函式在神經網路中的意義

能量函式(energy function)一開始在熱力學中被定義，用於描述系統的能量值，當能量值達到最小時系統達到穩定狀態。

在神經網路(neural network)中，在rbm中被首次使用。在rbm中，輸入層v和隱藏層h之間的能量函式定義為： e(

v,h)

=∑i∈

vaiv

i+∑j

∈hbj

hj+∑

i∈v,

j∈hv

ihjw

ij將a,v,b,h和w向量表示成矩陣，這個式子可以簡化為 e(

v,h)

=a×v

+b×h

+v×w

×ha，b，w都是權重矩陣，從式中可以看出，這個能量函式為v和h的加權與vh的加權和。在後續的步驟中，v和h的聯合概率為p(

v,h)

=1ze

e(v,

h),其中z為歸一化因子。訓練的目的為使得聯合概率盡量大，即能量函式盡量小。從這個角度出發，能量函式的意義與熱力學相同，能量函式值越小，系統趨於穩定。所以能量函式是反映系統穩定程度的參考指標，在這個意義上與代價函式(cost function)相似。

bengio 大牛在其 2023年的jmlr **中的未來工作一段，他提了乙個能量函式，把輸入向量和輸出向量統一考慮，並以最小化能量函式為目標進行優化。在這個意義上，能量函式和代價函式本質上是一樣的。