任何乙個神經網路都包含三個重要構件：神經元模型、學習演算法和網路拓撲結構。
為了降低神經元之間連線的複雜性，嘗試將adachi神經網路由完全耦合結構改為線性結構。一棵具有n個節點的樹僅有n-1條邊。修改後的網路拓撲結構變成：任意兩個神經元之間能通過生成樹聯絡起來，連線所有神經元的總邊數是n-1。改變了網路的拓撲結構，要用梯度搜尋法（比較簡單的演算法，廣泛應用於各類神經網路和機器學習）設定網路新的權值。
若adachi網路受到的外部激勵為已知模式，那麼網路的輸出將類似於週期軌道，利用這一點可以實現模式識別。混沌模式識別性質：對於乙個已知的外部激勵模式，輸出和外部激勵之間會產生「共鳴」，即在網路的動態演化過程中，輸入的外部激勵模式被頻繁檢索；而對於乙個未知的外部激勵模式，輸出就呈現出混沌狀態。
模式識別：就是通過計算機用數學技術方法來研究模式的自動處理和判讀。是指對表徵事物或現象的各種形式的（數值的、文字的和邏輯關係的）資訊進行處理和分析，來對事物或現象進行描述、辨認、分類和解釋的過程，是資訊科學和人工智慧的重要組成部分。
小世界網路：60年代美國學者milgram通過社會調查得出的一項成果。世界上任何兩個互不相識的人，平均來說，通過6個人就可以建立聯絡，通常也被稱作為六度分離原則。watts和strogts對小世界網路進行了研究。構造方法：1、首先生成鄰近耦合網路，每個節點和與其相鄰的左右各k/2個節點相連。2、對網路中的每一條邊，重複以下操作：斷開之前的連線，用固定的概率p和網路中任意選擇的乙個節點相連。這個模型被稱為ws模型。當p=1時，該網路就變成完全隨機網路；當p=0時，網路仍然為臨近耦合網路。
由於ws模型在進行重連線時可能會使一些節點孤立從而造成網路不連通，故newman和watts對這個模型做了相應的改動：1、首先生成鄰近耦合網路，每個節點和與其相鄰的左右各k/2個節點相連。2、用固定概率p在隨機選擇的兩個節點之間加上一條邊。這個模型為nw模型。當p=1時，該網路就變成了完全耦合網路；當p=0時，該網路保持不變，仍為鄰近耦合網路。
nw模型與ws模型的最主要區別在於增邊還是減邊。從本質上講，當隨機重連概率或隨機增加概率很小並且網路邊數很大時，這兩個模型是相同的。
smallworld-adachi 網路具有較好的模式識別性質。在適當的引數設定下，當外部激勵為已知模式時，網路的輸出會與外部激勵發生「共鳴」，即外部輸入模式會被頻繁識別，相反，其它模式卻不出現；當外部激勵為噪音模式時，與之對應的模式也會被識別，而噪音模式本身很少出現；當外部激勵為未知模式時，網路不能將該激勵與任何已知模式對應。
混沌神經網路學習筆記三
小世界網路 相對於同等規模節點的隨機網路，擁有比較短的平均路徑長度還有比較大的聚類係數特徵的網路模型。耦合 指兩個或者兩個以上的電路元件或電網路等的輸入和輸出之間有著緊密配合還有相互影響，並且通過相互作用從一側向另一側傳輸能量的現象。聯想記憶法 利用識記物件與客觀現實的聯絡 已知與未知的聯絡 材料內...
神經網路學習筆記（六） 廣義回歸神經網路
可以看出，這個結構與之前我們所講過的徑向基神經網路非常相似，區別就在於多了一層加和層，而去掉了隱含層與輸出層的權值連線。1.輸入層為向量，維度為m，樣本個數為n，線性函式為傳輸函式。2.隱藏層與輸入層全連線，層內無連線，隱藏層神經元個數與樣本個數相等，也就是n，傳輸函式為徑向基函式。3.加和層中有兩...
神經網路學習筆記
隱含層數越多，越容易擬合複雜函式 為了擬合複雜函式需要的隱含節點數目，基本上隨著隱含層數目的增加呈現指數下降的趨勢，也就是說層數越多，神經網路所需要的隱含節點可以越少。層數越深，概念越抽象，需要背誦的知識點 神經網路的隱含節點 就越少。但是，層數越多，容易出現過擬合以及引數難以除錯以及梯度瀰散的問題...