神經網路其實就是按照一定規則連線起來的多個神經元。上圖展示了乙個全連線(full connected, fc)神經網路，通過觀察上面的圖，我們可以發現它的規則包括：
1.神經元按照層來布局。最左邊的層叫做輸入層，負責接收輸入資料；最右邊的層叫輸出層，我們可以從這層獲取神經網路輸出資料。輸入層和輸出層之間的層叫做隱藏層，因為它們對於外部來說是不可見的。
2.同一層的神經元之間沒有連線。
3.第n層的每個神經元和第n-1層的所有神經元相連(這就是full connected的含義)，第n-1層神經元的輸出就是第n層神經元的輸入。
4.每個連線都有乙個權值。
上面這些規則定義了全連線神經網路的結構。事實上還存在很多其它結構的神經網路，比如卷積神經網路(cnn)、迴圈神經網路(rnn)，他們都具有不同的連線規則。
神經網路實際上就是乙個輸入向量到輸出向量的函式，即：
現在，我們需要知道乙個神經網路的每個連線上的權值是如何得到的。我們可以說神經網路是乙個模型，那麼這些權值就是模型的引數，也就是模型要學習的東西。然而，乙個神經網路的連線方式、網路的層數、每層的節點數這些引數，則不是學習出來的，而是人為事先設定的。對於這些人為設定的引數，我們稱之為超引數(hyper-parameters)。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
BP神經網路演算法
bp神經網路是一種基於有監督的學習，使用非線性可導函式作為傳遞函式的前饋神經網路。一 模型 bp神經網路由輸入層 隱含層 輸出層組成。訓練過程分為網路輸入訊號正向傳播和誤差訊號反向傳播，按有監督學習方式進行訓練。1 相鄰層之間結點的連線有乙個權重wij，其值在 1,1 之間 2 每乙個神經單元都有一...