Hubble Zhang的學習日記(第十九周)

2021-10-17 08:52:44 字數 2270 閱讀 5736

為了督促自己每天都有進步,在這裡記錄下每天遇到的問題和學到的新知識,僅作為個人回顧使用。

fcn的學習

語義分割的研究現狀:

1.傳統方法

normalized cut(歸一化切割):分割具有相同特徵的區域,比如某一塊紋理和顏色是相同的,就把這一塊視為是一塊,但是這種方法速度非常慢(每次執行一次n-cut只能分割出一種物體)

structured random forests(結構化隨機森林):可以很好地改善噪點的問題,但是容易過擬合,準確率不高,速度慢

svm(支援向量機)

2.深度學習卷積神經網路

fcnsegnet

linknet…

深度學習方法存在的問題:不匹配關係,不尋常類;不匹配關係需要通過能夠看到全域性資訊的卷積核融合起來去解決。有關不尋常關係的解決**(rednet, rdfnet)

語義分割常用資料集:sunrgbd, nyudv2, pascal voc, cityscapes, camvid等

**結構:abstract–introduction–related work–prior knowledge–details of learning–results–conclusion–references

abstract: 介紹**背景,核心觀點,方法途徑,最終成果

introduction: 語義分割研究現狀,本文貢獻,文章整體結構

related work: 文章思想**,先前方法的特點,本文的不同之處

prior knowledge: 卷積網路基本定義,與分類網路間的聯絡和區別,shift-and-stitch, deconvolution, patchwise, training

details of learning: 演算法結構,創新點,設計細節

results: 指標定義,多種資料集中的實驗分析

什麼是端到端?end-to-end

端到端說白了就是輸入是一張(原始影象),輸出是一張相同尺寸的(**影象)。特徵提取是端對端訓練的重要部分,深度學習之前的端對端訓練中的特徵提取是人工完成的。

introduction

cnn 在全分類和區域性任務上勢頭很猛

在fcn之前也有很多網路把卷積網路應用到了語義分割上,但是並沒有實現端到端

fcn網路採用端到端,畫素到畫素的**模式取得了很好的效果。第三段提到了有監督的預訓練(supervised pre-training),指的是將之前的一些網路的預訓練權重導到fcn當中。推理和學習的過程通過前向傳播和反向傳播來實現

這個方法可以解決之前演算法(patchwise training)的一些難題,例如缺少全卷積的訓練過程(即訓練不夠細緻),fcn沒有採用一些預處理,仍然能取得很好的結果,說明演算法本身很牛掰~

全域性資訊解決的問題是「是什麼」,區域性資訊解決的問題是「在**」,因此這兩個資訊本身是存在矛盾的,因此fcn採用了跳躍連線,用於將區域性資訊和全域性資訊進行融合。

related work

fcn的先驗知識

感受野:

決定某一層輸出結果中某一元素對應的輸入層區域大小

r fl

+1=r

fl+(

kern

el_s

ize−

1)∗s

trid

erf_=rf_l+(kernel\_size-1)*stride

rfl+1​

=rfl

​+(k

erne

l_si

ze−1

)∗st

ride

rf指的是感受野,上面公式分別是l+1層和l層的感受野,也就是說感受野大小是和上一層感受野大小是相關的,我們所說的感受野對應的區域均指的是原圖上的區域,而不是上一層對應的區域大小。

平移不變性(translation invariance):

影象中的目標無論被移到中的哪個位置,分類結果都應該是相同的;在影象中的目標移動時,特徵圖也產生相應的移動。

然而實際上,平移不變性在卷積神經網路中是不好用的。在相關的**中可以查到,卷積神經網路不遵循平移不變性的原因是忽略了取樣定律,即過多的下取樣,當這些下取樣的卷積步長不為1時,其會破壞的空間關係,從而導致結果出現問題。

fcn中卷積層代替全連線層的意義:

全連線層輸出的是一維向量,這就導致它失去了空間幾何意義,而卷積層彌補了這一點。

3 1日學習筆記 3 2日學習筆記

待看 1.原來torch.tensor是不能處理str的,只能對整形的進行處理,否則 torch.tensor 1 file line 1,in torch.tensor 1 valueerror too many dimensions str 2.如果針對最後的hidden輸出,size為 num...

2012 5 12日學習總結

上午主要學習物件導向程式設計 1 物件導向的基本概念 物件,類,繼承 2 乙個空類預設產出哪些成員函式 建構函式,析構函式,拷貝建構函式,賦值函式 3 struct 和class有哪些區別 struct 和class基本相同,只是struct預設所有成員為public而class成語預設為priva...

4 8日學習記錄

今天主要講了檔案上傳 國際化三個內容 檔案上傳 springmvc同樣使用了apache的檔案上傳元件。所以需要引入以下包 apache commons fileupload.jar apache commons io.jar 在myspring servlet.xml中配置 class org.s...