DRRN超解析度

2021-10-02 02:14:56 字數 1156 閱讀 2486

**全名:image super-resolution via deep recursive residual network

code:

這是一篇cvpr2017的關於影象超解析度的文章,相較於vdsr取得了更好的結果,從結構上看,還是之前的基調,更深的網路結構(52層),同時採取了遞迴操作,遞迴模組中存在權重共享,減少了模型的引數,取得了較好的成果

創新點:

1.更深的網路層次,其實最近的關於影象超解析度的**都是乙個基調,越深越好,不過深度增加的網路對梯度傳播帶來困難,最近的**如vdsr,drcn,lapsrn都採取了相關的解決措施,當然,此篇**採取的是vdsr的調整梯度裁剪 加 drcn的遞迴學習

2.遞迴學習,其實這不算是乙個創新點,無論是drcn還是resnet都有遞迴模組,不過此篇的遞迴模組更接近於drcn,遞迴模組中權重共享減少了模型所需要的引數,從而保證不發生梯度**或者梯度消失

3.殘差學習,殘差學習可以算是影象超清方面的乙個很好的學習策略,由於低解析度與高解析度在資訊上有很多地方是共享的,於是,可以只學習低解析度與高解析度之間的差別也就是殘差,並將殘差與低解析度做element-wise也就是矩陣相加,從而得到高畫質結果,學習殘差的好處就是 對網路的引數要求低,網路不需要記憶太多的細節,從而有利於梯度傳輸,防止梯度消失或者梯度**

網路結構示意圖:

可以看到,遞迴模組是在重複使用的,並且,遞迴模組中存在權重共享,在下圖中已經標識出來,所謂的權重共享就是,第乙個綠色的conv層訓練後,在給第二個綠色的conv層訓練前,該層的引數值和第乙個訓練後的值一樣,第二個綠色conv層訓練後引數更新,網路中所有的綠色conv層引數全部更新並且保持一致

通過這個遞迴和權重共享的trick,網路層次加深至52層,訓練的結果相對於vdsr有了提高

總的來說,其實就是下面這個圖

以上就是該篇**的內容,不過該**在提公升層數至52層,相較於vdsr的20層,效果雖然有提公升,其實幅度並不大,相比較於同期的2017cvpr的lapsrn,確實感覺不是很好,網路的結果有待優化,同時,每個遞迴單元簡單的包含2個conv層確實有些不足

超解析度參考

數字影象的儲存 影象四種型別 按照顏色 灰度劃分 影象超解析度及相關知識 簡介 超解析度知識筆記 學習筆記之 基於深度學習的影象超解析度重構 帶打包 兩篇乾貨滿滿的csdn博文 從srcnn到edsr,總結深度學習端到端超解析度方法發展歷程 影象超分辨之zssr 基於dl的超解析度 去噪近幾年 一篇...

超解析度重建總結

1.srcnn 2,3改進 開山之作,三個卷積層,輸入影象是低解析度影象經過雙三次 bicubic 插值和高解析度乙個尺寸後輸入cnn。影象塊的提取和特徵表示,特徵非線性對映和最終的重建。使用均方誤差 mse 作為損失函式。2.fsrcnn 特徵提取 低解析度影象,選取的核9 9設定為5 5。收縮 ...

YUV YCbCr RGB介紹 超解析度

一 概念介紹 1 yuv 中 y 表示明亮度 luminance或luma 也就是灰階值 而 u 和 v 表示的則是色度 chrominance或chroma 作用是描述影像色彩及飽和度,用於指定畫素的顏色。採用yuv色彩空間的重要性是它的亮度訊號y和色度訊號u v是分離的。如果只有y訊號分量而沒有...