hopfield神經網路是一種迴圈神經網路模型，由一組互相連線的神經元組成。其具有如下特徵：
hopfield神經網路分為離散型(dhnn)和連續型(chnn)
hopfield神經網路提出的時間要比bp神經網路要早，其利用動力學演變對輸入進行迭代(迭代的本質是狀態轉移)，最終得到乙個穩態值。穩定狀態稱為吸引點或吸引子。hopfield網路定義了能量函式(可以與bp網路的損失函式進行對比，都是最小化函式值)，通過迭代得到的吸引子是能量函式的區域性極小點其中乙個。
hopfield網路具有聯想記憶功能：
將網路輸入x
xx作為起始狀態，隨時間收斂到吸引點u
uu上的過程作為檢索過程。即使輸入向量x
xx只包含部分資訊或包含噪音，只要其位於對應吸引子的「吸引」區域內，那麼隨著時間演化，網路最終會收斂到其對應的吸引點。因此，hopfield的檢索是基於內容定址的檢索，具有聯想記憶功能。
學習筆記 連續Hopfield網路解TSP問題
上篇講的是離散型hopfield網路用於聯想記憶，這篇接上篇講利用連續型hopfield網路解tsp問題。連續型hopfield網路與離散型hopfield網路結構是一致的，唯一區別就是節點取值連續和在時間上也連續。連續型的hopfield網路一般用乙個電路圖來研究 這裡感謝周啟航同學對我在電路方面...
深度學習筆記
在深度神經網路中，通常使用一種叫修正線性單元 rectified linear unit，relu 作為神經元的啟用函式。relu函式其實是分段線性函式，把所有的負值都變為0，而正值不變，這種操作被成為單側抑制。可別小看這個簡單的操作，正因為有了這單側抑制，才使得神經網路中的神經元也具有了稀疏啟用性...
深度學習筆記
如果沒有啟用函式，或則是線性啟用函式，g z z,那麼在深度神經網路中，相當於都做的是線性變換，多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別，也就是說，這種情況下，無論神經網路的深度有多深，也就等價於乙個一層的網路，隱藏層沒什麼作用。因此需要非線性啟用函式。1.什麼時候插入，ski...