深度殘差網路

深度殘差學習（deep residual learning）的思想

在residual net中：

（1）identity：為恒等對映，此條路徑一直存在

（2）f(x)：為需要學習的殘差函式(residual function)：h(x)-x = f(x)

問題的重新表示或預處理會簡化問題的優化!

假設我們期望的網路層關係對映為 h(x), 我們讓 the stacked nonlinear layers 擬合另乙個對映， f(x):= h(x)-x , 那麼原先的對映就是 f(x)+x。 這裡我們假設優化殘差對映f(x) 比優化原來的對映 h(x)容易。

這裡我們首先求取殘差對映 f(x):= h(x)-x，那麼原先的對映就是 f(x)+x。儘管這兩個對映應該都可以近似理論真值對映 the desired functions (as hypothesized)，但是它倆的學習難度是不一樣的。

f(x)+x 可以通過shortcut connections 來實現，如下圖所示：

上圖中的shortcut connections執行乙個簡單的恒等對映；既沒有引數，也沒有計算複雜度。

公式分析如下：

（1）需要學習的殘差對映

（2）x和f的維數必須相同

如果x和f的維數不相同，則對x進行線性投影（linear projection）使用其與f的維數一致，公式如下：

5）網路架構

5.1）普通網路(plain network)

設計原則：

（1）對於輸出特徵圖大小相同的層，它們的卷積擁有相同的filter個數

（2）如果輸出的特徵圖大小減半，則filter個數乘以2，以確保每層的時間複雜度相同

5.2）殘並網路(residual network)

在遵循普通網路設計原則的基礎上，增加了shortcut connections。

6）恒等對映的重要性

6.1）平滑的正向傳播

任意xl被直接正向傳播到xl，xl是xl與殘差相加的結果。

6.2）平滑的反向傳播

7）保持最短路徑盡量平滑

- bn可能阻塞傳播

- relu可能阻塞傳播

我自己的理解是如果不是恒等對映，則在反向傳播的時候會有係數，從而導致誤差積累

殘差神經網路 深度殘差收縮網路的新解讀

近年來，人工智慧領域湧現了大量優秀的成果。本文圍繞一種新的深度學習方法，即深度殘差收縮網路，展開詳細的解讀，希望對大家有所幫助。顧名思義，深度殘差收縮網路是在 殘差網路 基礎上的一種改進演算法，是由 殘差網路 和 收縮 兩部分所組成的。其中，殘差網路在2016年斬獲了imagenet影象識別競賽的冠...

深度學習《殘差網路簡單學習》

一 殘差網路 vgg網路將網路達到了19層的深度，googlenet的深度是22層，一般而言，深度越深，月面臨如下問題 1 計算量增大 2 過擬合 3 梯度消失和梯度 4 網路退化 而問題四就得需要殘差網路的思路來解決 一般而言，網路的深度越深，理想情況下是期望越能獲得更高維度的資料特徵的，理想情況...

殘差網路雜記

深度增加的乙個問題在於這些增加的層是引數更新的訊號。梯度是從後向前傳播的，增加網路深度後，比較靠前的層梯度會很小。當網路更深時意味著引數空間更大，優化問題變得更難，因此簡單地去增加網路深度反而出現更高的訓練誤差。殘差網路resnet設計一種殘差模組讓我們可以訓練更深的網路。殘差模組在輸入和輸出之間建...