前饋神經網路是實際應用中最常見的網路結構，它包含乙個輸入層（input units），乙個輸出層（output units）和一到多個隱含層（hidden units），如圖。如果包含多個隱含層，我們稱之為深度神經網路（deep neural networks）。
神經網路在輸入層與輸出層之間進行一系列轉換（transfermission）的計算，使得網路的每一層都會得到乙個新的輸入狀態。在前一層關聯度低的兩個輸入到新的一層可能會提高關聯度，相反，在前一層關聯度高的兩個輸入到新的一層也可能會降低關聯度。這種結構的優點在於，例如在語音識別任務中，我們希望將不同人所說的相同的詞關聯度提高，而把同乙個人所說的不同的詞關聯度提高，那麼就可以應用到網路結構的特性。
為了實現網路的這種特性，需要將每一層節點的激勵函式（activities）設為前一層輸出的非線性函式。
迴圈神經網路比起前饋神經網路更加功能強大，在它的鏈結結構中存在有向環（如下圖），這意味著由乙個節點出發，沿著箭頭的方向前進，有可能會回到起點。
這種網路結構可以產生十分複雜的變化，使訓練過程變得困難。目前研究者仍致力於尋找一種有效的訓練方法，因為迴圈神經網路一旦訓練成型就可發揮巨大的作用。
此外，相比於前饋神經網路，迴圈神經網路更接近於現實中生物學上的神經結構。
迴圈神經網路可以對序列化資料進行建模（如下圖）。
其中連線的隱含層具有時序記憶特徵，即在時序中某一時刻隱含層節點的狀態決定了下一時刻隱含層節點的狀態。
與前饋神經網路不同的是，我們在時序中的每一時刻都使用相同的權值，也就是說，對於任意時刻產生的輸入和輸出，隱含層的權值矩陣都是相同的。
迴圈神經網路能夠將隱含層中的資訊保留相當長的時間，即所謂的記憶特性，但通過訓練網路來應用這一特性十分困難，
下圖是應用迴圈神經網路實現的自動文字生成，程式每次輸出單個字元，最後得到這樣一段文字。雖然可讀性較差，但文字的語法結構還是能夠證明神經網路的強大功能的。
對稱連線網路與迴圈神經網路較為相似，不同的是，對稱連線網路的節點連線是對稱的，即相反方向的連線具有相同的權值。對稱的特性使它比起迴圈神經網路更容易分析，但使它的功能受到了限制，例如在對稱結構的網路中不存在有向環，即由乙個節點出發不可能回到原點。
沒有隱含層的對稱網路稱為hopfield網路。
有隱含層的對稱網路稱為玻爾茲曼機。
神經網路結構
定義 在機器學習和認知科學領域，人工神經網路 artificial neural network，縮寫ann 簡稱神經網路 neural network，縮寫nn 或類神經網路，是一 種模仿生物神經網路的結構和功能的計算模型，用於對函式進行估計或近似。神經網路的種類 基礎神經網路 單層感知器，線性神...
卷積神經網路結構
卷積神將網路的計算公式為 n w f 2p s 1 其中n 輸出大小 w 輸入大小 f 卷積核大小 p 填充值的大小 s 步長大小 即與用和原輸入層大小 深度完全一致的卷積核進行卷積，形成11x的全連線層 即展開 其中x由卷積核的層數決定。寫 時也可以直接展開為一維 不改變輸入層的大小，但改變輸入和...
Caffe神經網路結構彙總
自2012年alexnet贏得了imagenet競賽以來，深度學習 神經網路 得到了飛速發展，產生了許多的神經網路結構，本文主要總結caffe中使用的神經網路 分類的神經網路 本文的神經網路作者都使用caffe訓練過，並在kaggle的intel癌症 比賽中進行了測試與使用 top 8 alexne...