深度學習超解析度重建(總結)

2021-08-19 10:18:32 字數 2963 閱讀 8977

本文為概述,詳情翻看前面文章。

1.srcnn:---2,3改進

開山之作,三個卷積層,輸入影象是低解析度影象經過雙三次(bicubic)插值和高解析度乙個尺寸後輸入cnn。

影象塊的提取和特徵表示,特徵非線性對映和最終的重建

。使用均方誤差(mse)作為損失函式。

2. fsrcnn

特徵提取:低解析度影象,選取的核9×9設定為5×5。收縮:1×1的卷積核進行降維。非線性對映:用兩個串聯的3×3的卷積核可以替代乙個5×5的卷積核。擴張:1×1的卷積核進行擴維。反卷積層:卷積層的逆操作,如果步長為n,那麼尺寸放大n倍,實現了上取樣的操作。

相對於srcnn:

在最後使用了乙個反卷積層放大尺寸,因此可以直接將原始的低解析度影象輸入到網路中;

改變特徵維數,

使用更小的卷積核和使用更多的對映層;

可以共享其中的對映層,如果需要訓練不同上取樣倍率的模型,只需要fine-tuning最後的反卷積層。

3. espcn

核心概念是亞畫素卷積層,

輸入原始低解析度影象,三個卷積層, 將

espcn啟用函式採用tanh替代了relu。損失函式為均方誤差。

4. vdsr--7改進

只學習高解析度影象和低解析度影象之間的高頻部分殘差即可——殘差網路

輸入低解析度影象

插值後的影象,再將這個影象與網路學到的殘差相加得到最終的網路的輸出。

1.加深了網路結構(20層),2.採用殘差學習(

自適應梯度裁剪

將梯度限制在某一範圍

)。3.卷積補0操作,保證特徵圖和最終的輸出影象在尺寸上都保持一致。4.多尺度影象共同訓練

5. drcn:--7改進

遞迴神經網路結構

輸入的是插值後的影象,分為三個模組,第乙個是embedding network,相當於特徵提取,第二個是inference network, 相當於特徵的非線性對映,第三個是reconstruction network,即從特徵影象恢復最後的重建結果。其中的inference network是乙個遞迴網路,即資料迴圈地通過該層多次。將這個迴圈進行展開,等效於使用同一組引數的多個串聯的卷積層.

6. red

對稱的卷積層-反卷積層構成的網路結構

red網路的結構是對稱的,每個卷積層都有對應的反卷積層。卷積層用來獲取影象的抽象內容,反卷積層用來放大特徵尺寸並且恢復影象細節。

用到了與4同:網路中有一條線是將輸入的影象連線到後面與最後的一層反卷積層的輸出相加。

ed中間的卷積層和反卷積層學習的特徵是目標影象和低質影象之間的殘差。red的網路深度為30層,損失函式用的均方誤差。

7. drrn:(4,5,殘差網路)**********

resnet是鏈模式的區域性殘差學習。vdsr是全域性殘差學習。drcn是全域性殘差學習+單權重的遞迴學習+多目標優化。drrn是多路徑模式的區域性殘差學習+全域性殘差學習+多權重的遞迴學習。

選用的是1個遞迴塊和25個殘差單元,深度為52層的網路結構

8. lapsrn:**********(改進前面大部分演算法

**中作者先總結了之前的方法存在有三點問題。一是有的方法在輸入影象進網路前,需要使用預先定義好的上取樣操作(例如bicubic)來獲得目標的空間尺寸,這樣的操作增加了額外的計算開銷,同時也會導致可見的重建偽影。而有的方法使用了亞畫素卷積層或者反卷積層這樣的操作來替換預先定義好的上取樣操作,這些方法的網路結構又相對比較簡單,效能較差,並不能學好低解析度影象到高解析度影象複雜的對映。二是在訓練網路時使用 l2 型損失函式時,不可避免地會產生模糊的**,恢復出的高解析度往往會太過於平滑。三是在重建高解析度影象時,如果只用一次上取樣的操作,在獲得大倍數(8倍以上)的上取樣因子時就會比較困難。

lapsrn通過逐步上取樣,一級一級**殘差的方式,在做高倍上取樣時,也能得到中間低倍上取樣結果的輸出。由於尺寸是逐步放大,不是所有的操作都在大尺寸特徵上進行,因此速度比較快。lapsrn設計了損失函式來訓練網路,對每一級的結果都進行監督,因此取得了不錯的結果。

9. srdensenet:

srdensenet將稠密塊結構應用到了超解析度問題上,這樣的結構給整個網路帶來了減輕梯度消失問題、加強特徵傳播、支援特徵復用、減少引數數量的優點

10. srgan(srresnet):**********

在這篇文章中,將生成對抗網路(generative adversarial network, gan)用在了解決超解析度問題上

用均方誤差優化srresnet(srgan的生成網路部分),文章中的實驗結果表明,用基於均方誤差的損失函式訓練的srresnet,得到了結果具有很高的峰值訊雜比,但是會丟失一些高頻部分細節,影象比較平滑。而srgan得到的結果則有更好的視覺效果。其中,又對內容損失分別設定成基於均方誤差、基於vgg模型(損失函式)低層特徵和基於vgg模型高層特徵三種情況作了比較,在基於均方誤差的時候表現最差,基於vgg模型高層特徵比基於vgg模型低層特徵的內容損失能生成更好的紋理細節。

11. edsr:**********

edsr最有意義的模型效能提公升是去除掉了srresnet多餘的模組,從而可以擴大模型的尺寸來提公升結果質量

這篇文章還提出了乙個能同時不同上取樣倍數的網路結構mdsr。

超解析度重建總結

1.srcnn 2,3改進 開山之作,三個卷積層,輸入影象是低解析度影象經過雙三次 bicubic 插值和高解析度乙個尺寸後輸入cnn。影象塊的提取和特徵表示,特徵非線性對映和最終的重建。使用均方誤差 mse 作為損失函式。2.fsrcnn 特徵提取 低解析度影象,選取的核9 9設定為5 5。收縮 ...

超解析度重建部分演算法總結

超解析度資源的精確列表和單影象超解析度演算法的基準。請參閱我實現的超解析度演算法 build a benckmark like selfexsr code state of the art algorithms 基於原始影象塊稀疏表示的影象超解析度 基於稀疏表示的影象超解析度 基於耦合字典訓練的影象...

超解析度參考

數字影象的儲存 影象四種型別 按照顏色 灰度劃分 影象超解析度及相關知識 簡介 超解析度知識筆記 學習筆記之 基於深度學習的影象超解析度重構 帶打包 兩篇乾貨滿滿的csdn博文 從srcnn到edsr,總結深度學習端到端超解析度方法發展歷程 影象超分辨之zssr 基於dl的超解析度 去噪近幾年 一篇...