目錄
0、摘要
1、動機
2、方法
2.1、池化公式
2.2、spm
2.3、mpm
2.4、spnet
3、實驗結果
4、總結
空間池化已被證明在畫素級**的任務（如：場景解析）中進行捕獲長距離上下文資訊時非常高效。本文針對傳統的核大小為n*n的空間池化進行了改進，提出了一種核大小為1*n或者n*1的池化操作，稱之為條紋池化。基於條紋池化，進一步研究了池化結構：（1）引入了乙個新的條紋池化模組，使得模型可以建模長距離依賴；（2）展示了一種新穎的構建塊，其帶有不同的空間池化核；（3）系統地對條紋池化和傳統池化方法進行了對比。這種基於新穎池化的設計，既輕量，又可作為外掛程式應用到已有的場景解析網路。在流行基準集上的大量實驗表明，該方法達到了sota。
在語義分割領域，用於獲取長距離依賴的方法有：自注意力機制、空洞卷積。
自注意力機制可以建模全域性上下文，不過其計算量過大；空洞卷積通過增大感受野來捕獲更遠距離的依賴資訊，不過其形狀為方形，仍然限制了其捕獲的距離。
因此，本文提出了條紋池化方法來擴充套件cnn的感受野，同時收集上下文資訊。
條紋池化作為全域性池化的替代品，有兩個優勢：
首先，其在乙個空間維度上應用了乙個長條狀的池化核，因此能夠捕獲長距離資訊，如圖1a和1c；
其次，它在另乙個維度上保持比較窄的尺寸，可以避免捕獲一些無關資訊。
其中，spm包含了兩條路徑：水平、垂直，分別用於捕獲兩個方向的長距離上下文依賴；mpm用於在高語義級別上進一步建模長距離依賴，其通過利用不同形狀的池化核進行資訊聚合，來探索複雜場景的影象。
基於spm和mpm兩種模組，作者設計出了spnet，該網路在各流行benchmark上達到了sota。
設輸入為
則傳統的平均池化公式為：
經過上述過程，output tensor中的每個位置都構建了input tensor中對應位置垂直、水平兩個方向上各位置的資訊，也即十字交叉位置上的所有元素。這一點和ccnet中的交叉注意力機制有點相似，其實，作者也提到該模組也可以作為乙個注意力模組外掛程式來使用。
金字塔池化模組（ppm）對場景解析的作用已被證實，但是ppm嚴重依賴標準的池化方法（在不同等級的金字塔上應用不同的池化核）。因此，作者設計了mpm來充分利用標準池化和條紋池化的優勢：通過不同的池化操作融合不同型別的上下文資訊，從而使得特徵更具判別力。
所提出的mpm包括兩個子模組：同時捕獲不同位置間的短距離依賴和長距離依賴關係，這兩種依賴對場景解析都具有一定幫助。
對於長距離依賴，沒有使用功能先前研究使用的全域性平均池化（gap），而是使用水平和垂直的條紋池化來收集這類線索。基於此，設計了捕獲長距離依賴的子模組，如圖3（b）所示。
條紋池化可以捕獲分布較為分散的上下文資訊，但是，對於那些較為集中的資訊則仍需要使用標準的空間池化來捕獲。也因此，設計了捕獲短距離依賴關係的的子模組，如圖3（a）所示。
對於兩個子模組，簡單描述下：
基於spm和mpm模組，作者設計了spnet：
本文主要是提出了一種新的池化方法——條紋池化，其通過長而窄的池化核可以建模長距離依賴關係。基於這種池化方式，設計了兩個模組：條紋池化模組spm用於增加backbone的感受野、混合池化模組mpm用於同時捕獲長、短距離的上下文資訊。
《學會提問》之一 學會提出好問題
批判性思維主要有以下幾個方面 有一套相互關聯 環環相扣的關鍵問題意識 恰如其分地提出和回答關鍵問題的能力 積極主動地利用關鍵問題的強烈願望 兩種思維方式 海綿式思維 強調單純的獲取知識 淘金式思維 強調在獲取知識的過程中與知識展開互動 弱勢批判性思維是利用批判性思維捍衛自己現有的立場和看法。強調批判...
《學會提問》之一 學會提出好問題
批判性思維主要有以下幾個方面 有一套相互關聯 環環相扣的關鍵問題意識 恰如其分地提出和回答關鍵問題的能力 積極主動地利用關鍵問題的強烈願望 兩種思維方式 海綿式思維 強調單純的獲取知識 淘金式思維 強調在獲取知識的過程中與知識展開互動 弱勢批判性思維是利用批判性思維捍衛自己現有的立場和看法。強調批判...
C 多執行緒程式設計（一）問題的提出
多執行緒程式設計之一 問題提出 一 問題的提出 編寫乙個耗時的單執行緒程式 新建乙個基於對話方塊的應用程式singlethread，在主對話方塊idd singlethread dialog新增乙個按鈕，id為idc sleep six second，標題為 延時6秒 新增按鈕的響應函式，如下 編譯...