與單鏡反光機相比，智慧型手機相機的感測器更小，這限制了它們的空間解析度;更小的光圈，限制了它們的聚光能力;更小的畫素，這降低了他們的訊雜比。實際獲得的低解析度影象可以認為是利用光學成像裝置對原始高解析度場景進行觀測的結果，而觀測過程不可避免的會受到鏡頭光學模糊、欠釆樣、雜訊等降質因素的影響。
因為影象在成像時，發生了欠取樣（感測器畫素大於細節所需要的畫素，也就是取樣率沒有達到奈奎斯特頻率。），導致我們獲得影象存在混疊現象。即存在顯示為虛假低頻的高頻，規則的虛假低頻也就是大家常見的摩爾紋。既然影象中存在高頻部分資訊，那麼我就得想辦法把它提煉出來，最終得到一張高解析度影象。另外乙個原因是拜爾濾色鏡:光達到感測器時，因為在每個畫素位置只能記錄乙個顏色，因此濾色鏡將其他資訊過濾掉了。
儘管從取樣定理方面分析，足夠多的低解析度影象有可能可以重建出高解析度影象。但是現實很殘酷，因為還有受到雜訊，未知模糊等干擾，那麼被雜訊和模糊破壞的高頻資訊咋辦。因此要想重建高解析度影象，基本條件是多幀之間存在亞畫素偏移。後期如何精準的對齊，以及如何解決多幀之間存在的遮擋，場景變化都是影響最終的效果。在空間域方法中，基於正則化的方法是最有效的多幀sr重建方法之一。由於sr重構是乙個不適定的逆問題，因此關鍵技術是通過將先驗知識整合到sr重構過程中來獲得乙個穩定的解。傳統方法大多通過先驗假設加迭代求解。求解能力有限。深度學習可能是一種更好的選擇。
4 多幀超分為什麼是乙個不適定的逆問題？
確定性分量包含了所有的低頻訊號以及部分與低頻訊號高度相關的高頻訊號，這意味著確定性分量中的高頻訊號仍然可以從下取樣影象中的低頻訊號中恢復。隨機分量包含與低頻訊號相關性很小的其餘訊號。正是隨機分量使得影象超解析度不適定。
奈奎施特頻率：在只有取樣頻率大於實際頻率的二倍的時候我們才能完整的還原出乙個訊號。同樣，對於二維的空間取樣來說，要想避免混疊資訊（摩爾紋），就需要取樣頻率（感測器解析度）達到空間頻率（鏡頭解析度，影像中條紋的空間頻率）的二倍。
如何避免混疊：目前鏡頭解析度都比較高，但是感測器的解析度難以達到鏡頭解析度的二倍，因此只能犧牲鏡頭解析度， 因此在鏡頭與感測器之間新增低通濾鏡。現實是殘酷的，理想的低通濾波在實際不存在的。一般還是會存在混疊的，尤其是當被拍攝的影象是規則的細紋理，這種情況就更容易出現摩爾紋。
蘋果iphone x、谷歌pixel 3等主流手機主攝像頭的取樣率在1.5 ~ 1.8(亮度通道)之間，低於臨界取樣率2。
影象有混疊資訊：即有高頻資訊殘留，感測器畫素面積大於細節所需要表示的畫素，因此需要平均，導致這個高頻被顯示為虛假的低頻。如下圖，左邊是高頻細節圓，除非這個正方形足夠小，使得每乙個正方形剛剛填滿，不用與旁邊取均值，這時取樣率才夠。
所以一般拍照不希望有混疊資訊，擔心出現類似摩爾紋這種東西。但是多幀超分正是利用這種混頻資訊來重建高頻資訊，不可為解決不了你，只能使用你了。
輸入幀需要包含影象混疊（image aliased），即其包含取樣後顯示為虛假低頻的高頻資訊（如莫爾條紋）
輸入的多幀混疊影象是在不同的亞畫素位置被取樣的，這將表現為輸入幀中虛假低頻的不同相位。
本質上來講從多幀低解析度影象中進行超解析度重建是個inference的問題，高解析度影象中的細節資訊在下取樣的成低解析度幀的時候導致了丟失，然而抖動帶來的位移相當於給了多乙個維度的資訊讓我們可以通過演算法對資訊進行恢復，從某種意義上講抖動儲存了原來影象的細節資訊。如果抖動的範圍完美覆蓋了乙個畫素週期以內的所有區域，並且每一幀都取樣到了這個區域內的所有的點的話，那麼理論上是可以恢復出高解析度影象的，然而通常情況並非如此。
整畫素偏移，只能完全去噪用了。
亞畫素配準問題，區域性運動，遮擋，或場景變化，這些複雜場景影響對齊，以及最後的融合。因此沒有處理好這些，結果反而不好。還不如單幀超分。
運動的魯棒性，對任意序列的影象進行可靠對齊是極具挑戰性的，理論和實踐不允許。因此基於區域性畫素統計得到乙個權重圖。這個權重圖的重點是區分（混頻區域）和對齊失敗區域。混頻區域具有一定特徵（容易產生混疊的區域也有很大的空間差異）。與參考幀直接的顏色差異小於區域性標準差的區域視為無混疊，可以合併來去噪；顏色差異與區域性方差差不多可以認為是混頻區域，可以合併來sr。顏色差異大於區域性方差可採用去鬼影。當然具體還有很多優化操作，可見**。
去馬賽克即為使用臨近畫素來重建缺失的色彩資訊的過程。在典型的消費級相機中，相機感測器元件僅用於測量光的強度，而不是直接測量其顏色。為了捕捉場景中存在的真實顏色，相機使用放置在感測器前面的濾色鏡陣列，以便每個畫素僅測量單一顏色（紅色，綠色或藍色）。通過對缺失的色彩資訊進行最佳猜測，通常通過從附近畫素中的色彩進行插值來進行去馬賽克，這意味著 rgb數碼**三分之二的畫素實際上是重建而來。這也是流行raw域的多幀超分。例如今年一篇mean shoot，多幀raw進行超分。
乙個實用的超解析度演算法需要注意到這種雜訊，並正確地消除它們。我們不希望得到更高解析度但充滿雜訊的影象——我們的目標是既增加解析度又減少雜訊的結果。
人們開始通過長遠焦或者遠近拍攝來構建真實的超分資料，即退化模型不再是通過下取樣和上取樣來構建資料集或者人為進行模糊,強調視場變化fov才是超分需要恢復的退化。從發的**來看，重點在於如果構造資料集，其中最關鍵的就是如何將遠近資料進行對齊。要考慮亮度變化，雜訊變化，透視變換，色調製化等。在實驗室環境控制這些條件尚且困難，更不用說在真實環境中了。而且不同的視場變化fov代表不同的退化程度，模型如何去泛化。
對齊：特徵點對齊，光流對齊，強度對齊，色調對齊等……乙個深度學習方法又轉成傳統影象處理了。一些**嘗試通過stn或者一些光流網路來進行對齊。
推薦文章：
handheld multi-frame super-resolution siggraph 2019
image super-resolution via deterministic-stochastic synthesis and local statistical rectification 2018
一文讀懂Nginx
問 nginx的負載均衡演算法有什麼？預設是什麼演算法？答 1 輪詢 按請求的時間輪詢查空閒的後端伺服器 2 指定輪詢機率 機率的原因是後端伺服器的效能不均勻，好的多分點，差的少分點 3 固定ip繫結固定伺服器 預設是加權輪詢，就是優先訪問權重高的伺服器 問 nginx是單執行緒的嗎？答 是單執行緒...
一文讀懂SpringMVC
主要講的是dispatcherservlet這個類 ioc其實是乙個map，工程啟動後掃瞄路徑，根據類的全限定名建立bean 問 怎麼根據路徑找到方法？map還存key為 aaa value為該controller例項 問 autowired原理？自定義註解，在載入的時候，掃瞄controller層...
堆疊 一文讀懂
堆疊 stack 是一種先進後出的 操作受限的線性表，也可以直接稱為棧。可以把棧想象成乙個桶一樣，往這個桶裡面一層一層的放東西，先放進去的在裡面，後放進去的東西依次在外面。但取東西的時候就是先取靠近外面的，再依次一層層取裡面的。這就是 後進先出 last in first out 的原則。因此 棧 ...