2023年,美國加州理工學院的優秀物理學家hopfield提出了hopfield神經網路。hopfield神經網路引用了物理力學的分析方法,把網路作為一種動態系統並研究這種網路動態系統的穩定性。
dhnn:離散型hopfield神經網路
這是一種單層全反饋網路,共有n個神經元。其特點是任一神經元的輸出 xi 均通過連線權 wij 反饋至所有神經元 xj z作為輸入。換句話說,每個神經元都通過連線權接收所有神經元輸出反饋回來的訊息,其目的是為了任一神經元的輸出都能受所有神經元輸出的控制,從而使各神經元的輸出能相互制約。每個神經元均設有乙個閾值 tj ,以反映對輸入雜訊的控制。dhnn網可以簡單記為 n = (w, t)
網路的穩定性與吸引子
反饋網路是一種能儲存若干個預先設定的穩定點(狀態)的網路。執行是,當向該網路作用乙個起原始推動作用的初始輸入模式後,網路便將其輸出反饋回來作為下次的輸入。經若干次迴圈(迭代)之後,在網路結構滿足一定條件的前提下,網路最終將會穩定在某一預先設定的穩定點。
網路的穩定性***************===
吸引子與能量函式***************===
hopfield最後的三種狀態
第一種狀態是穩定狀態,這個能量會越來越小,最後到大能量的最低點,這個模型就收斂了。
第二種狀態是有限環轉台,它會在幾種狀態裡來回切換
第三種狀態是混沌狀態,它既不是穩定狀態,也不是有限環狀態。它是一種無限無序的狀態。對於離散型的hopfield神經網路來說不會存在這種狀態。
hopfield的計算演變過程
Hopfield神經網路
import numpy as np import neurolab as nl import matplotlib.pyplot as plt 0 1 2 16 8 target np.array 0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0,1,0,0,1,0,0,0,...
hopfield神經網路
初次接觸hopfield神經網路,有一些約束沒有注意,導致生出很多愚蠢的想法。一 hopfield神經網路其實沒有層的概念,所有的神經元全連線就形成了乙個hopdield神經網路的基本結構。既然是全連線,那麼誰先誰後 誰左誰右就沒有意義了,反正都是互聯的。二 hopfield神經網路既然沒有層的概念...
Hopfield神經網路
多層神經網路 模式識別 相互連線型網路 通過聯想記憶去除資料中的雜訊 1982年提出的hopfield神經網路是最典型的相互鏈結型網路。當輸入模式為某種狀態時,輸出端要給出與之相應的輸出模式。如果輸入模式與輸出模式一致,稱為自聯想記憶,否則,稱為異聯想記憶。網路結構上,hopfield神經網路是一種...