abstract
cnn在傳統的單幀超解析度重建上取得了非常好的效果,可以取得較高的峰值訊雜比(psnr)。他們大都以mse為最小化的目標函式,這樣雖然可以取得較高的峰值訊雜比,但是當影象下取樣倍數較高時,重建的得到的會過於平滑,丟失細節。本文提出了利用gan來進行超解析度重建的方法,該網路是第乙個能恢復4倍下取樣影象的框架。作者提出的損失函式有兩部分組成:對抗損失,內容損失。
對抗損失將影象對映到高位流形空間,並用判別網路去判別重建後的影象和原始影象。而內容損失則是基於感覺相似性(perceptual similarity)而非畫素相似性(pixel similarity)。
intruction
所謂超解析度重建就是將低解析度影象恢復成對應的高解析度影象。但是由於低解析度影象資訊的缺失,這是乙個病態的求逆問題,尤其是在恢復的倍數較高的時候。傳統的方法考慮加入一些先驗資訊以恢復高解析度影象(如插值法),此外,還有基於回歸方法的隨記森林也可以用於超分問題。稀疏學習,cnn在超分上也取得了非常好的效果,特別是cnn,使得超分已經可以達到實時應用。
method
作者提出的網路結構如下:
網路結構
生成網路由殘差結構組成,並結合bn,生成的影象丟到判別網路中,交給判別器判斷是生成的高解析度影象還是真正的高解析度影象。
作者主要的創新點在於代價函式的設計,尤其是將逐畫素損失替換為內容損失。作者提出的損失函式由以下三部分加權組成:
content loss
內容損失函式
這一項說白了就是對某一層的特徵圖的逐畫素損失作為內容損失(而不是最後輸出結果的逐畫素損失)。這樣可以學得影象所在的流形空間。(這句話我也沒太懂是什麼意思!個人理解,大概就是可以學得一些高層的語義特徵,結構資訊)
adversarial loss
對抗損失項
作者用的對抗損失項用:
負對數求和替換原來的代價函式,這樣有利於訓練。(作者給的參考文獻提到了原因,有興趣可以看看)。
regularization loss
作者利用基於全變差的正則項以鼓勵產生具有空間相似性的結果。具體公式如下:
正則損失
experiments
作者用sub-pixel網路作為生成網路,用vgg作為判別網路構建gan得到了非常好的結果,但是這個用的是逐畫素差作為損失函式。
之後,作者嘗試了自己提出的感知損失函式作為優化目標,雖然psnr和ssim不高,但是視覺效果都要優於其他網路,避免了其他方法的過度平滑的特性。
conclusion
提出的srresnet取得了state-of-art的結果
將感知損失引入gan,實現了4倍超解析度重建
SRGAN閱讀筆記
photo realistic single image super resolution using a generative adversarial github srgan cnn在傳統的單幀超解析度重建上取得了非常好的效果,可以取得較高的峰值訊雜比 psnr 他們大都以mse為最小化的目標函...
損失函式 SRGAN損失函式(目標函式)詳解
srgan的特點之一就是引進了損失感知函式,由此提公升了超解析度之後的細節資訊。本文主要像您介紹srgan使用的損失函式,及其keras實現。這是原文中給出的損失函式。容易看出,此損失函式包括兩部分,第一部分是感知損失,第二部分是正則化損失。感知損失是由李飛飛團隊提出的一種損失函式。感知損失分了兩部...
學維修電腦要多久 保定學當眾講話要多久
保定學當眾講話要多久 新勵成口才學校,勵志幫助學員提公升說話邏輯,清晰講話思路,克服當眾演講恐懼 課程安排有公眾講話,述職匯報演講,人際關係溝通技巧技銷售口才,科學發聲等課程。學員的成功見證.諮詢享0元課程 現在社會是多元化的時代,它在飛速發展的同時,對我們綜合素質的要求也越來越高。不僅要求有的工作...