卷積神經網路學習筆記與心得（4）池化

經過卷積、啟用後的結果一般帶有大量原圖資訊。

上圖中卷積核提取的是豎直方向上的連續畫素，但是，被增強的畫素只佔了結果的1/3，對於多層網路，其餘重要性較低的資訊也被傳入了下一層網路，造成了不必要的浪費，因此需要用池化對卷基層得到的結果做聚合統計。池化的理論基礎是：影象相鄰位置的畫素是相關的，即使間隔一段尺寸對影象進行取樣，得到的結果依舊能保持大部分資訊。常用的池化方式有最大池化和均值池化。池化的另乙個重要作用是為卷積神經網路帶來一定的平移、旋轉和透視不變性。

上圖展示了池化如何為模型帶來平移不變性。原圖中垂直方向上的一段連續畫素被右移了乙個單位得到了平移後的，兩者經過尺寸為2*2，步長為1的最大池化後，得到了相同的結果。對於旋轉和透視，池化也可以達到類似的效果。但池化使模型具有對平移、旋轉、透視的抗性並不是沒有限制的，首先池化的效果依賴於卷積的結果，如果卷積沒有捕捉到上述變換後的特徵，池化也失去了抗平移、旋轉、透視的能力，其次，池化對上述三種變換的抗性和池化的尺寸有關，池化尺寸越大，抗性越強，但資訊丟失的也越多，其中利弊需要設計者權衡。