本文是對深度學習中的注意力機制做的筆記，並附上注意力機制應用的部分例子。
首先，從其功能感受下注意力機制的作用。
來自這裡
上圖展示了引入attention後框架的變化：由固定的語義編碼c變為根據輸出不斷變化的
公式中
抽象為更一般的模型如下：相似度計算(階段1)、相似度的歸一化(階段2)、計算attention值(階段3)
由上可知，注意力機制的關鍵在於：計算的物件，物件間的相似度函式，歸一化函式。
計算過程可檢視包學包會，這些**和**讓你一次讀懂「自注意力」
延伸閱讀：ai基礎：**transformer
基於注意力機制，機器之心帶你理解與訓練機器翻譯系統
attention is all you need: a pytorch implementation
基於attention的生成、分類和字元識別
深度學習中的注意力機制
神奇的神經機器翻譯：從發展脈絡到未來前景
基於注意力機制，機器之心帶你理解與訓練神經機器翻譯系統
包學包會，這些**和**讓你一次讀懂「自注意力」
ai基礎：**transformer
注意力機制
從網路結構本身的角度出發，可以從以下四個維度來提公升卷積神經網路的效能，分別是 深度 resnet 寬度 wideresnet 基數 resnext 和注意力 senet 一般來說，網路越深，所提取到的特徵就越抽象 網路越寬，其特徵就越豐富 基數越大，越能發揮每個卷積核獨特的作用 而注意力則是一種能...
注意力機制
深度學習中的attention，源自於人腦的注意力機制，當人的大腦接受到外部資訊，如視覺資訊 聽覺資訊時，往往不會對全部資訊進行處理和理解，而只會將注意力集中在部分顯著或者感興趣的資訊上，這樣有助於濾除不重要的資訊，而提最早將attention利用在影象處理上的出發點是，希望通過乙個類似於人腦注意力...
attention注意力機制
attention注意力機制的定義和本質 顧名思義 注意力機制的意思就是將注意力集中在重要的點上，忽略那些不重要的因素。注意力機制的本質其實就是對特徵分配注意力權重的過程。現在的重點就是注意力權重的獲取過程。encoder decoder模型定義 以機器翻譯為例，來講解attention機制。機器翻...