復現原始碼@這(原始碼持續更新中)**位址@這**翻譯@這
傳統摳圖演算法主要是以色彩為特徵分離前景與背景,並在小資料集上完成,而這就造成了傳統演算法的侷限性目前用來求解摳圖方程式(matting equation)的方法:
其中 ii 是畫素塊 i 的 rgb 色彩,已知前景色彩 fi,背景色彩 bi,未知蒙版估計(matte estimation)αi。在這個方程式中,摳圖問題形式化為兩種顏色的線性組合,因此大多數現存的演算法很大一部分都是將其近似求解色彩的問題。
另乙個侷限性就因為小資料集而產生。一般用於摳圖的資料真值(ground truth)是很複雜的,而 alphamatting.com 資料集通過提供標記資料集對摳圖研究做出了很重要的貢獻。不過因為該資料集僅僅只由 27 張訓練影象和 8 張測試影象組成,那麼這樣大小的資料集會帶來自然偏差(nature biased),訓練出來的演算法也會很難進行泛化。
本篇**提出了一種基於深度學習的新演算法,該演算法可以解決這兩個問題。我們的深度模型分為兩個階段。第一階段是深度卷積編碼-解碼網路(deep convolutional encoder-decoder network),該神經網路將影象和相對應的三分圖(trimap)作為輸入,並**影象的α蒙版(alpha matte)。第二階段是乙個小型卷積神經網路,該神經網路對第乙個網路**的α蒙版進行精煉從而擁有更準確的α值和銳化邊緣。同時文章提供了49300 張訓練影象和 1000 張測試影象組成的摳圖資料集,將單一背景下的目標進行提取,合成到複雜的新背景下alphamatting.com 的資料集需要ground truth人工完成,於是只有27張訓練影像和8張測試圖,為了更好地訓練摳圖網路,文章通過合成目標到新的背景中方法產生。首先找到背景簡單單一的影象,用ps軟體小心地獲取精準目標蒙板和前景顏色,再隨機選取ms coco資料集或voc資料集產生n個背景。
訓練資料集有493個獨特的前景目標,49300張影像(n=100),檢測資料集有50個獨特目標,1000張(n=20)。trimap在ground truth的蒙板上進行隨機擴大產生。文章提出的資料集的主要優點有:目標種類多,並且如頭髮等細節豐富,背景比較複雜等。
下圖為資料集產生示意圖,a為原圖,b為蒙板,c為單獨的前景顏色資訊,後面三圖為新增背景後:簡單來說就是找一些背景比較單一的影象,這些影象的真值比較容易得到。將人扣出來,然後再將其放到背景比較複雜的圖中去,從而構建乙個大型摳圖資料集。
主要分為兩階段:第一階段為深度卷積的encoder-decoder network,輸入為影象+trimap,輸出為**蒙板產生的loss和聯合的loss。第二階段為小型卷積網路微調獲得準確蒙板和尖銳邊緣。
: 設計了兩個loss函式,乙個稱為alpha-prediction loss,另乙個是compositional loss。
alpha-prediction loss 定義ground truth的蒙板值(alpha value)和**的蒙板值在每乙個畫素位置的絕對差異。又由於絕對差不可微分,採用相對近似值模擬,如下:
ipα pi
是**層對於畫素位置i的**值,αi
g αgi
即為ground truth值。∈為10^(-6)。
compositional loss 是ground truth和**的rgb之間的loss,c定義rgb通道,類似於前面的alpha-prediction loss,則compositional loss 計算公式為:
由於前面網路得到的結果有時候過於平滑,因此新增這個階段。如前面網路整體結構圖,輸入是影象和前一階段**的4通道的alpha蒙板(每個通道取值範圍0-255),網路是全卷積網路,包含4個卷積層,前3個卷積層都跟著乙個relu層。為了使得尖銳的邊緣即準確輪廓產生,該階段不再進行降取樣過程。這裡,在4通道輸入資料進入網路前,還採用了乙個「 skip-model 」使得其值變成0-1。
matting refinement stage 的效果對比如下圖展示:
在 alpha matting 比賽中前五名的比賽截圖,文章的方法排名第一:
和其他方法的一些對比實驗結果:
1.資料準備和預處理。
訓練資料的alpha、rgb、background
2.整理資料(先resize,再融合)
把alpha和eps都resize到最長邊為640,同時保留長寬比。因為crop的最大size為640*640,所以把background都resize到最短邊為1280,同時保留長寬比。把alpha和eps都center padding到背景裡。
3.開始訓練
接下來就是超引數跟結構優化問題了。。。
good luck!!!
實驗總結 免疫螢光實驗需要特別關注的細節總結
新手細胞免疫螢光實驗常見問題解答 從細胞密度 鋪板密度 方式 種板時間 及一抗選擇及處理,dapi及封片過程總結了新手掌握免疫螢光實驗的基本準則。其核心注意事項總結如下 1 明確蛋白定位,了解及 蛋白表達 2 細胞爬片時的密度及種板方法 3 一抗建議選擇中間濃度,特異性高低很重要 5 dapi復染時...
計算機網路實驗系列(總)
一 本文是我部落格計算機網路實驗系列的綜合。每篇部落格都有對應的github位址 裡面有原始碼和相關的實驗報告 由於時間倉促,這一系列的部落格全是由複製貼上組成,但絕對原創,以後根據時間情況考慮是否更新。同時不保證絕對正確qaq,若讀者發現錯誤,還望指正 三 系列彙總 1 計算機網路實驗系列一 so...
總諧波失真80 總諧波失真 THD
百科名片 總諧波失真 總諧波失真是指用訊號源輸入時,輸出訊號比輸入訊號多出的額外諧波成分。諧波失真是 由於系統不是完全線性造成的,它通常用百分數來表示。所有附加諧波電平之和稱為總諧 波失真。一般說來,1000hz 頻率處的總諧波失真最小,因此不少產品均以該頻率的失真 作為它的指標。但總諧波失真與頻率...