drrn：深度遞迴殘差網路
本文提出了一種非常深的cnn模型（多達52個卷積層），稱為深度遞迴殘差網路（drrn），它致力於深入而簡潔的網路。 具體而言，採用殘差學習，以減輕培訓深層網路的難度; 遞迴學習用於控制模型引數，同時增加深度。 廣泛的基準評估表明，drrn明顯優於sisr的最新技術水平，同時利用更少的引數。
主要有兩個新穎點：
在vdsr和drcn中應用的只是從輸入到輸出的全域性殘差學習（grl），grl主要可以降低訓練深層網路的難度。drrn中又新增了區域性殘差學習（lrl），可以減少經過深層網路後影象細節的丟失。（lrl每幾個堆疊層就可以有乙個而grl只會有乙個）
關於殘差單元的遞迴學習，可以使得模型更加緊湊。在drcn中，遞迴層被學習並且權重在16個卷積遞迴層中分享。drrn和drcn有兩個主要的區別：一是並不所有卷積層共享乙個權重，drrn擁有由數個殘差單元組成的遞迴塊，權重在這些殘差單元中共享；二是drrn通過設計具有多路徑結構的遞迴塊從梯度**/消失的負擔中解脫出來，可以很容易的訓練，並且僅僅增加卷積深度而不新增引數就能提公升準確度。
以上是resnet，vdsr,drcn和drrn的簡略模型圖
vdsr在殘差分支有20個權重層，這也導致了更大的感受野，grl以及可調節的梯度裁剪使vdsr收斂更快，並且可以處理不同縮放程度的影象。
首先如上圖結構所示，resnet在同一分支下應用了兩次不同的x（第二次的x用的是第一次所得到的結果），而drrn則在同一分支的兩次殘差學習中應用了相同的x，這樣也促進了殘差學習。
殘差單元的基本計算如下：
後來那個何教授提出了一種新的殘差學習方式，即在權重層計算前先進行啟用函式的計算，這樣可以提高效能並使得網路更容易訓練，具體公式如下：
本文作者又進行了進一步改良，使得identify branch 和residual branch的輸入不同，就像第3節開頭所說，對於在乙個遞迴區內的所有identify branch的輸入保持相同，結構如下圖，
這樣的結果是在我們的遞迴區內會有多條不同的路徑，
residual path幫助學習高度複雜的特徵，identity path則用來幫助訓練時的梯度反向傳播，與鏈模式相比，這種模式有利於學習，不容易過擬合，具體計算公式如下：
由於殘差單元被遞迴學習，權重w在乙個遞迴區中共享，但是在不同的遞迴區內不同。
遞迴區具體形狀如上圖figure4.在遞迴區最初有乙個conv層。然後加入數個3.1中所提到的殘差單元。用b來表示遞迴區的數目，xb-1 和 xb 分別是第b個遞迴區的輸入和輸出，u是殘差單元的數量，最後有公式（這裡有點小理解問題，回頭看）：
3.3 網路結構
drrn的網路深度可以如下公式計算：
loss通過下式計算：
總感覺實驗沒什麼需要記的東西...
在本文中，我們提出了深度遞迴殘差網路（drrn）的單影象超解析度。 在drrn中，在遞迴塊中遞迴地學習增強的殘差單元結構，並且我們堆疊若干遞迴塊以學習hr和lr影象之間的殘差影象。 然後將殘差與從identity branch傳來的lr影象相加來估計hr影象。 廣泛的基準實驗和分析表明，drrn是sisr的深度，簡潔和卓越的模型。
DRRN超解析度
全名 image super resolution via deep recursive residual network code 這是一篇cvpr2017的關於影象超解析度的文章，相較於vdsr取得了更好的結果，從結構上看，還是之前的基調，更深的網路結構 52層 同時採取了遞迴操作，遞迴模組中存...
閱讀任務 閱讀筆記 4
功能驅動的設計 1 構造總體模型 2 構造功能列表 3 制定開發計畫 4 功能設計階段 5 實現具體功能 軟體測試按目的分類 1 功能測試 2 非功能測試 軟體測試的各種方法 1 單元測試和 覆蓋率測試 2 構建驗證測試 3 驗收測試 4 探索式的測試 5 回歸測試 6 場景 整合 系統測試 7 夥...
閱讀筆記 2006 01
請您尊重您的價值，因為它已經得到了社會的認可。當你貶低或破壞您的價值時，就等於貶低或破壞整個行業在這個社會的價值。無論在什麼時候，自己都應該尊重自己的價值，而不能因為一時的困境而貶低和破壞了自己的價值，因為你的破壞之舉，將傷害到整個行業的價值乃至社會的規則。因為，唯有懂得尊重自己的價值的人，才能真正...