灰度重取樣的方法分為 基於深度學習的著色方法介紹

2021-10-14 05:12:04 字數 1939 閱讀 5801

用於灰度影象著色是一種空間內插,即8位元的灰度空間擴充套件到24位元的rgb空間。下面以兩篇文章為引子解釋深度學習的應用。

**是一種全自動方法從灰度產生逼真的色彩。針對著色問題的潛在不確定性,它將其作為分類任務並在訓練時使用類重平衡(class-rebalancing)來增加著色的多樣性。

首先,顏色空間表示如圖所示,(a)量化的ab顏色空間,網格大小為10,在色域中總共313個ab對;(b)對數尺度表示的ab值經驗概率分布;(c)對數尺度表示的以l為條件的ab值經驗概率分布。這裡將著色看出乙個多模式分類問題,其中顏色ab輸出空間量化為網格大小為10的區間,並保持色域內的q = 313值。 給定輸入x,學習對映z = g(x),輸出到可能顏色z∈[0,1] h×w×q的概率分布,其中q是ab值的量化級數。

為了比較**的z^與基礎事實(gt),定義函式z = h gt -1(y),用軟編碼方案將gt顏色y轉換為向量z。然後,多模式交叉熵損失lcl(·,·)定義如下:

通過基於畫素顏色稀有度,在訓練時重新加權每個畫素的損失來解決類別不平衡(class- imbalance)問題,這漸近地等同於典型的重取樣訓練空間方法。基於其最接近的ab格,每個畫素由因子w ∈rq加權。

如圖所示是網路架構圖,訓練該cnn模型從灰度輸入對映到輸出量化顏色值的分布。每個conv層是2或3個重複的卷積層和relu層的塊,然後是批處理歸一化(bn)層,沒有池化層。解析度的所有變化都是通過conv塊之間的空域下取樣或上取樣實現。

如下兩個圖和是一些實驗結果:重平衡的分類損失比無重平衡的回歸損失或分類損失的結果更準確,更有活力。第乙個圖是成功的著色結果。第二個圖是失敗的例子,常見故障如下:無法捕捉長距離一致性、頻繁的紅藍色混淆以及複雜室內場景預設的棕褐色調。

**也是一種全自動著色方法,不同的是,它重新定義了著色為匹配問題;可更好地利用全域性影象資訊,採用自適應影象聚類技術;為了確保無畸變,採用基於聯合雙邊濾波(joint bilateral filtering)的後處理方法。

如圖所示是採用大型參考影象資料庫和深度學習著色法的直觀圖。(a)給出通過自適應影象聚類技術被分為各種類的參考影象,用於每個類訓練深度神經網路(dnn)。(b)著色方法和dnn架構。給定灰度,首先自動探索最近的類和相應訓練的dnn。在每個畫素提取特徵描述子用作神經網路的輸入。神經元對的連線與參考影象資料庫學習的權重相關聯。輸出是相應畫素的色度,可以直接與灰度組合得到相應的顏色值。訓練模型計算出的色度可能在低紋理區域周圍有點雜訊,使用聯合雙邊濾波器(輸入灰度影象為指導)可以降低雜訊。

基於PaddlePaddle框架的深度學習初接觸

pip install paddlepaddle i為了驗證是否安裝成功,輸入 import paddle.fluid paddle.fluid.install check.run check 出現your paddle fluid is installed successfully 說明安裝成功。...

基於embedding的重識別方法

in defense of the triplet loss for person re identification githttps github.com visualcomputinginstitute triplet reid 框架 theano 摘要 一般來說,在訓練基於度量的網路的時候,...

點雲深度學習中的新下取樣方法

2020年9月9日 週三 天氣晴 不悲嘆過去,不荒廢現在,不懼怕未來 2.adaptive sampling cvpr2020 3.總結 參考文獻 目前關於點雲的深度學習方法,大多數都是encoder decoder的結構。encoder部分對點雲進行下取樣,通過 卷積 計算點雲的高階特徵,然後通過...