全連線神經網路：
不適合做影象識別原因：
考慮乙個輸入1000*1000畫素的，輸入層有1000*1000=100萬節點。假設第乙個隱藏層有100個節點，那麼僅這一層就有(1000*1000+1)*100=1億引數，這實在是太多了！我們看到影象只擴大一點，引數數量就會多很多，因此它的擴充套件性很差。
對於影象識別任務來說，每個畫素和其周圍畫素的聯絡是比較緊密的，和離得很遠的畫素的聯絡可能就很小了。如果乙個神經元和上一層所有神經元相連，那麼就相當於對於乙個畫素來說，把影象的所有畫素都等同看待，這不符合前面的假設。當我們完成每個連線權重的學習之後，最終可能會發現，有大量的權重，它們的值都是很小的。努力學習大量並不重要的權重，這樣的學習必將是非常低效的。
我們知道網路層數越多其表達能力越強，但是通過梯度下降方法訓練深度全連線神經網路很困難，因為全連線神經網路的梯度很難傳遞超過3層。因此，我們不可能得到乙個很深的全連線神經網路，也就限制了它的能力。
適合做影象識別：
每個神經元不再和上一層的所有神經元相連，而只和一小部分神經元相連。這樣就減少了很多引數。
一組連線可以共享同乙個權重，而不是每個連線有乙個不同的權重，這樣又減少了很多引數。
可以使用pooling來減少每層的樣本數，進一步減少引數數量，同時還可以提公升模型的魯棒性。
對於影象識別任務來說，卷積神經網路通過盡可能保留重要的引數，去掉大量不重要的引數，來達到更好的學習效果。
卷積神經網路 全連線 網路訓練
首先我們回顧下lenet網路結構 如圖1中紅色方框所示，在經過多次卷積 池化 卷積 池化操作後，接著是兩次全連線操作。全連線層是傳統的多層感知器，在輸出層中使用softmax啟用功能 也可以使用其他分類器，例如svm 術語 全連線 表示上一層中的每個神經元都連線到下一層中的每個神經元。卷積和池化層的...
卷積神經網路 全連線層
全連線層 全連線層與卷積層 全連線層與gap 全域性平均池化層 1 2 3 全連線層一般會把卷積輸出的二維特徵圖轉化為一維的乙個向量，全連線層的每乙個節點都與上一層的每個節點連線，是把前一層的輸出特徵都綜合起來，所以該層的權值引數是最多的。作用 全連線網路的作用就是將最後一層卷積得到的feature...
卷積神經網路和神經網路
在神經網路中，每一層的每個神經元都與下一層的每個神經元相連 如下圖 這種連線關係叫全連線 full connected 如果以影象識別為例，輸入就是是每個畫素點，那麼每乙個畫素點兩兩之間的關係 無論相隔多遠 都被下一層的神經元 計算 了。這種全連線的方法用在影象識別上面就顯得太 笨 了，因為影象識別...