池化選擇 全域性最大池化和全域性平均池化的實驗分析

2021-10-05 22:45:50 字數 906 閱讀 4075

類響應圖示例:

圖中高亮區域就是根據label的注意圖高響應區域

具體得到的這個相應區的方法是

1) 訓練主幹網路得到特徵圖

2) 進行全域性池化(圖中用的gap,也可以使用gmp)

3) 對全域性池化的結果做全連線得到全連線引數 w

4) 把全連線引數作為權重對特徵圖進行加權求和 上圖最下方的公式

根據對影象的研究發現,不同的類別的特徵圖相應區域不一樣,原始的卷積網路具有一定的定位能力。而且如下圖所示,不同類別的注意力區域也大不相同也呈現出非常準確的特徵區域。

模型可以**出不同類別概率,根據類注意圖發現。即使是錯誤**的類別,比如上圖**狗狗**成了人,但是人也在圖中特徵區域也是定位在了人的身上。

說了這麼多就是論證gap和gmp具有定位能力。那麼具體那個好呢

先看一組實驗

我們發現相比gap,gmp在同乙個類別上的top1 和top5 的損失都有所公升高。

原因分析:

gap 是對全域性求平均,gap loss 促使網路區分辨每個類別的程度,找到所有的目標可區分區域進行**。

gmp 是對全域性求最大,只去找分數最高的那個區域。而去忽略其他分數低的區域

因此在定位方面,gap 比gmp要好

gap outperforms gmp for localization.

簡述平均池化和最大池化

最大池化在googlenet的 中提到,先附上著名的網路結構googlenet及其延伸版本,以便自己日後的學習。inception v1 going deeper with convolutions inception v2 batch normalization accelerating deep...

TensorFlow 最大池化

由 aphex34 自己的作品 cc by sa 4.0,通過 wikimedia commons 共享 這是乙個最大池化的例子max pooling 用了 2x2 的濾波器 stride 為 2。四個 2x2 的顏色代表濾波器移動每個步長所產出的最大值。例如 1,0 4,6 生成6,因為6是這4個...

池化 和卷積

在卷積神經網路中,我們經常會碰到池化操作,而池化層往往在卷積層後面,通過池化來降低卷積層輸出的特徵向量,同時改善結果 不易出現過擬合 為什麼可以通過降低維度呢?因為影象具有一種 靜態性 的屬性,這也就意味著在乙個影象區域有用的特徵極有可能在另乙個區域同樣適用。因此,為了描述大的影象,乙個很自然的想法...