這兩年，看到了很多關於attention機制的文章，尤其在影象領域。可能大家都覺得這個好用，從頂刊頂會到國產會議，這個attention機制偏低開花。
本文結合自己的研究方向，簡單總結一下有關於attention機制的文章。
由於我研究的是2d human pose estimation，我接觸的第一篇attention相關的文章是 multi-context attention for human pose estimation (cvpr2017)，我自己也跑過他的**，發現attention真的很有用。後來就慢慢的開始關注這方面的文章。
1,dual attention network for scene segmentation. ***** **開源
2,pyramid attention network for semantic segmentation. *****
3,object-part attention model for fine-grained image classification (tip). *****
4,cbam: convolutional block attention module (eccv2018). ***** **開源
5,multi-attention guided activation propagation in cnns (prcv2018).
6,multi-context attention for human pose estimation (cvpr2017). ***** **開源
在我總結的時候，偶然看到了乙個總結attention的文章，寫的挺好的。傳送門
Attention機制的簡要介紹
attention機制說白了就是加權求和。attention機制之所以看上去繁複冗雜是因為有很多的種類，按照不同的分類標準，可以分為以下幾種型別 1 計算區域 hard attention 精準定位到某個key，此key權重概率為1，其餘key為0。local attention 上述兩者折中。先基...
Attention機制全解
目錄 之前已經提到過好幾次attention的應用，但還未對attention機制進行系統的介紹，之後的實踐模型attention將會用到很多，因此這裡對attention機制做乙個總結。注意力機制 attention mechanism 首先是用於解決 sequence to sequence 問...
Attention機制全解
目錄 系統流 wap.kuwx.net 之前已經提到過好幾次attention的應用，但還未對attention機制進行系統的介紹，之後的實踐模型attention將會用到很多，因此這裡對attention機制做乙個總結。注意力機制 attention mechanism 首先是用於解決 seque...