一般來說，使用wn的網路容量是要大於普通神經網路的。
如何理解網路的容量：一般來說，神經網路的引數對應著一組函式：函式集。我們之所以能夠使用乙個神經網路來逼近（擬合）某個目標函式是因為這個函式集包含了我們想要擬合的目標函式。這裡容量就是神經網路表示函式集要包含目標函式。顯然大的容量才讓我們的搜尋有保障。
理論上已經證明足夠多層的神經網路是可以擬合任何函式的。但是，實踐中，我們網路的層數不可能是那麼的多，而且層數增多訓練壓力也變大，效果變差。後來出現了resnet等技術等為深層網路的訓練提供了支援。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路VD問題
隨著神經網路每層的學習速度其實是不一樣的，並且隨著層數增加這個問題就越來越明顯。一般來說，接近輸出層學習速率快，前面的層數學習慢，並隨著層數增加學習越來越慢。這種情況我們稱為梯度消失 vanishing gradient problem 下面我們就來分析一下為什麼會出現這種情況，並給出解決方案。若有...