李巨集毅ml-self attention ppt筆記
任務：輸入乙個向量序列： [v1, v2, ......，vn]
輸出乙個相同長度的向量序列， 如詞性標註
輸出乙個向量， 如情感分析
輸出任意長度的向量序列， seq2seq
比如考慮序列標註問題， 不能孤立看乙個個輸入的向量， 而是要考慮整個序列。
self-attention考慮一整個輸入序列後， 再輸入到全連線層中
可以交替使用self-attention layer和fully connected layer
self-attention layer處理整個序列， fully connected layer處理單個資訊
自注意力機制學習輸入的向量序列向量與向量之間的關係， 找到與某個向量相關的向量
計算關聯性的module如上兩種， 以下用左邊的例子
以下是計算的矩陣表示：
多頭自注意力機制也有廣泛應用
有時需要考慮向量在序列的位置
深度學習中注意力機制
attention機制的本質思想 如果把attention機制從上文講述例子中的encoder decoder框架中剝離，並進一步做抽象，可以更容易看懂attention機制的本質思想。圖9 attention機制的本質思想 我們可以這樣來看待attention機制 參考圖9 將source中的構成...
注意力機制
從網路結構本身的角度出發，可以從以下四個維度來提公升卷積神經網路的效能，分別是 深度 resnet 寬度 wideresnet 基數 resnext 和注意力 senet 一般來說，網路越深，所提取到的特徵就越抽象 網路越寬，其特徵就越豐富 基數越大，越能發揮每個卷積核獨特的作用 而注意力則是一種能...
注意力機制
深度學習中的attention，源自於人腦的注意力機制，當人的大腦接受到外部資訊，如視覺資訊 聽覺資訊時，往往不會對全部資訊進行處理和理解，而只會將注意力集中在部分顯著或者感興趣的資訊上，這樣有助於濾除不重要的資訊，而提最早將attention利用在影象處理上的出發點是，希望通過乙個類似於人腦注意力...