超分辨綜述

2022-02-19 08:20:50 字數 3096 閱讀 2429

目錄post-upsampling sr

上取樣方法

網路設計

稠密連線

注意力機制

高階卷積advanced convolution

金字塔池pyramid pooling

損失函式

基於插值的上取樣:

雙線性插值法

雙三次插值法

基於學習的上取樣:

全域性殘差學習

輸入影象與目標影象高度相關,因此可以只學習它們之間的殘差,這就是全域性殘差學習

(a) 可以避免學習從乙個完整影象到另乙個影象的複雜變換,而只需要學習乙個殘差圖來恢復丟失的高頻細節 (b) 由於大部分區域的殘差接近於零,模型的複雜度和學習難度大大降低

區域性殘差學習

類似於resnet中的殘差學習,shortcut連線可以用於緩解網路深度不斷增加所帶來的模型退化問題,降低了訓練難度

如 srgan、rcan等網路模型

全域性多路徑學習

利用多條路徑來提取影象不同方面的特徵,這些路徑在傳播過程中可以相互交叉,從而大大提高學習能力

區域性多路徑學習

對輸入進行不同路徑的特徵提取後進行融合

特定尺度的多路徑學習

不同尺度的sr模型需要經過相似的特徵提取,所以它們共享模型用於特徵提取的網路層,並分別在網路的開始和結束處附加特定比例的預處理結構和上取樣結構。訓練期間僅啟用和更新與選定比例相對應的模組

mdsr、carn、prosr

結構:受空間金字塔池層的激勵,提出了金字塔池模組,以更好地利用全域性和區域性上下文資訊

pyramid的思路就是把不同 size 的 featureconcat在一起。對於尺寸是h×w×c的feature map,每個channel被劃分成m×m塊並通過gap全域性池化,生成m×m×c的結果。再通過1×1 卷積把輸出壓縮為single channel。之後,再經過雙線性插值把結果進行上取樣到原來feature map的維度。當 m 變化時,模組結合全域性和區域性的上下文資訊以提公升效能。

希望生成的從視覺上看更像是真實的

衡量不同影象通過預訓練的模型後得到的特徵圖之間的差異,計算影象之間的感知相似性

其中,φ是利用vggresnet等預先訓練好的影象分類網路

希望重構的與原圖有相同的風格

考慮到重建影象應具有與目標影象相同的風格(如顏色、紋理、對比度),將影象紋理視為不同特徵通道之間的相關性,將影象的紋理視為不同特徵通道之間的相關性(利用矩陣點乘來表示相關性)

需要一定的調參經驗,patch太小會造成紋理部分重影,太大會整張影象重影

希望重構的與原圖有相同的風格

在生成對抗網路中,判別器被用來判斷當前輸入訊號的真偽,生成器則盡可能產生「真」的訊號,以騙過判別器

受到啟發,將hr影象通過另乙個cnn網路縮小為i',然後跟要處理的小做相似性度量

希望生成的更平滑

用於抑制雜訊,提公升影象的空間平滑性

聚焦於人臉影象的超分辨,引入人臉比對網路fan來約束從原始和生成的影象中檢測到的人臉的一致性,經常要和多個loss組合使用,需要一定的調參經驗

本文學習參考:2020 影象超分最新綜述及上取樣技術一覽

write by gqq

儲存限制 超分辨光儲存研究進展

摘要 隨著大資料和人工智慧等資訊科技日新月異,各行各業對資料資訊儲存的要求與日俱增。當前,以磁控儲存技術為主的資訊儲存方式普遍存在壽命低 能耗高的缺點。與磁儲存技術相比,光學資料儲存技術具有能耗低 資料安全性高等優勢,然而其資料儲存容量受到光學衍射極限的極大制約。如何突破光學衍射極限,提公升光儲存技...

分辨串列埠和USB

pc機常用的通訊方式有三種 序列 並行和網路介面。目前大多數巨集碁筆記本保留有序列口,一般在筆記本的左邊,那個很多洞洞那個口就是串列埠,也稱com口,序列介面 好啦,下面講講串列埠程式開發。記住在windows上面的程式設計一切都是基於windows作業系統的。之前在寫串列埠採集資料的上位機時也頗為...

如何分辨好壞大夫

首先,進入專家診室,可以觀察一下大夫的案頭擺設是否整潔。桌面收拾得井井有條,可以反映大夫的工作狀態有條理。其次,好大夫問診比較全面 有連續性,不是想起一句就問一句。除基本資訊外,還會詢問 近期生活有什麼異常變化,以前是否得過什麼疾病,有沒有遺傳病史和過敏史等。會耐心地回答病人的提問。第三,看病歷填寫...