我們知道，網路層數越深，其表達能力越強，但之前人們並不敢把網路設計的太深，因為會有梯度衰減等各種問題讓網路的效能大幅度下滑，用一些正則化，relu等啟用函式也不能完全避免。但有了殘差網路，人們可以把網路的層數設計的很深，比如幾百層。其基本思想如下：
在傳統的平網路（plain network）中，一層的網路的資料**只能是前一層網路，資料一層一層向下流。對於卷積神經網路來說，每一層在通過卷積核後都會產生一種類似有失真壓縮的效果，可想而知在有失真壓縮到一定程度以後，分不清楚原本清晰可辨的兩張**並不是什麼意外的事情。這種行為叫有失真壓縮其實並不合適，實際在工程上我們稱之為降取樣（downsampling）——就是在向量通過網路的過程中經過一些濾波器（filters）的處理，產生的效果就是讓輸入向量在通過降取樣處理後具有更小的尺寸，在卷積網路中常見的就是卷積層和池化層，這兩者都可以充當降取樣的功能屬性。主要目的是為了避免過擬合，以及有一定的減少運算量的***。在深度殘差網路中，結構出現了比較明顯的變化。
簡單說就是前面層的較為「清晰」一些的向量資料會和後面被進一步「有失真壓縮」過的資料共同作為後面的資料輸入。而對比之前沒有加過這個「短路」設計的平網路來說，缺少這部分資料的參考，本身是一種資訊缺失丟失的現象本質。本來乙個由2層網路組成的對映關係我們可以稱之為f(x)的這樣乙個期望函式來擬合，而現在我們期望用h(x)=f(x)+x來擬合，這本身就引入了更為豐富的參考資訊或者說更為豐富的維度（特徵值）。這樣網路就可以學到更為豐富的內容。
這樣一來，我們就可以得到一種全新的殘差結構單元，如下圖所示。可以看到，殘差單元的輸出由多個卷積層級聯的輸出和輸入元素間相加(保證卷積層輸出和輸入元素維度相同)，再經過relu啟用後得到。將這種結構級聯起來，就得到了殘差網路。
可以知道殘差網路有如下特點：
1. 網路較瘦，控制了引數數量
2. 存在明顯層級，特徵圖個數逐層遞進，保證輸出特徵表達能力
3. 使用了較少的池化層，大量使用降取樣，提高傳播效率
4. 沒有使用dropout，利用bn和全域性平均池化進行正則化，加快了訓練速度
#以上總結參考了風雨兼程的知乎回答。
如下圖中計算可以得到，在前向傳播中，殘差輸出表示式是某一層的輸入xl和f(x)的累加，而普通神經網路的表示式是乙個累乘表示式。
因此在反向傳播中，可以看到殘差網路的梯度是累加而傳統網路的梯度是累乘，也就是累乘造成了不可避免地梯度消失，因此殘差網路可以說避免了梯度消失的根源。
殘差網路解決了極深網路的梯度問題，讓極深網路成為了可能，現在正在大量應用於目標檢測等領域。
學習了，我們下期見！
殘差神經網路 殘差網路學習心得
殘差網路介紹 resnets是由殘差塊構建的，首先先解釋一下什麼是殘差塊。這是乙個兩層神經網路在l層進行啟用。計算過程是從a l 開始，首先進行線性啟用 根據這個等式，通過a l 算出z l 1 即a l 乘以權重矩陣再加上偏差因子，然後通過非線性relu啟用得到a l 1 隨後我們再進行線性啟用，...
殘差神經網路 深度殘差收縮網路的新解讀
近年來，人工智慧領域湧現了大量優秀的成果。本文圍繞一種新的深度學習方法，即深度殘差收縮網路，展開詳細的解讀，希望對大家有所幫助。顧名思義，深度殘差收縮網路是在 殘差網路 基礎上的一種改進演算法，是由 殘差網路 和 收縮 兩部分所組成的。其中，殘差網路在2016年斬獲了imagenet影象識別競賽的冠...
機器學習理論 BP神經網路
機器學習 擬人 有監督的機器學習 多元線性回歸 回歸 邏輯回歸 分類 非線性的演算法，非線性的演算法可以來解決更加複雜的問題 神經網路演算法也是後面深度學習的時候的基礎 ann artificial neural network mlp multiple layer percepton cnn rn...