本節摘要插圖所示為一維全連線神經網路的結構，但是，這種情況下的訓練參數量巨大，訓練效率低，無法滿足效能要求。
例如：（如下圖所示）
輸入影象大小：28×
28 28×28
輸入層神經元個數：28×
28=784)28×
28=
784)
隱藏神經元的個數：15
權重引數(神經元之間的連線)：
748×15=
11760
748×15=
11760
如何解決參數量大的問題？
1. 非全連線（也就是刪掉一些」線段」）
2. 權重共享（也就是一些線段的權重相同）
如果將二維影象轉換成一維影象，將會丟掉一些結構資訊，因此，在cnn的輸入層，直接輸入二維矩陣，因此實際輸入層的結構如下圖所示：
rgb影象的輸入層如下圖所示：
卷積操是卷積神經網路中最重要，也是最核心的部分。
先介紹下幾個重要的概念：
將去掉全連線中的一部分連線後，剩下的連線就形成了感知視野，也就是後面層能從前面層中獲取資訊的區域，如下圖所示：
後層神經元和前層神經元相連的每條線對應乙個權重值，將感知區域的所有線段的權值根據位置排列成矩陣，就是我們所說的權重矩陣w。
具體卷積操作如下圖所示：
同時和每個卷積核對應，還有乙個偏置項b。
簡單用公式描述卷積操作，如下公式所示：
$$對於每個卷積核，都會產生乙個feature map，如下圖所示：
層與層之間會有多個卷積核，因此，往往產生多個feature map，如下圖所示：
最後，從整體來看看卷積層是如何工作的，對於三通道的影象，每個卷積核的size均為[3×
rows
×col
s 3×r
ows×
cols
],如下圖所示：
公式描述如下:
注意：每個feature map中的每個元素即為該層的乙個神經元，權重是神經元和神經元之間的連線。
機器學習，深度學習，神經網路，深度神經網路
先來說一下這幾者之間的關係 人工智慧包含機器學習，機器學習包含深度學習 是其中比較重要的分支 深度學習源自於人工神經網路的研究，但是並不完全等於傳統神經網路。所以深度學習可以說是在傳統神經網路基礎上的公升級。神經網路一般有輸入層 隱藏層 輸出層，一般來說隱藏層大於2的神經網路就叫做深度神經網路，深度...
神經網路和深度學習（二）淺層神經網路
1 計算神經網路的輸出 正向傳播 矩陣表示 向量化 2 多個樣本的向量化 正向傳播 3 啟用函式 1 sigmoid函式僅用於二分分類的情況，較少使用 2 tanh函式絕大多數情況下優於sigmoid函式 3 relu函式是預設的常用啟用函式 4 leaking relu 帶洩露的relu函式 4 ...
深度學習 深度神經網路
神經網路是由乙個個神經元相互連線並按層次排列構成的，深度神經網路是有任意層的神經網路，這裡的深度是指層次的多，而不是神經元數量的多。有任意層，那麼就要有乙個迴圈來負責遍歷每一層進行計算。所以深度神經網路的計算形式，就必須要適應這個迴圈結構。我們先來說說神經元吧 對於多神經元神經網路，其實也是一樣的。...