DL理論筆記與理解

gradient的方向代表函式值增大的方向（這個方向由沿著各個軸方向偏導方向綜合的方向），大小代表函式值變化的快慢。

導數概念很大，偏導是沿著某方向上的導，梯度是沿著各個方向數偏導的向量。

softmax函式叫這個的原因，把原來較大的數值壓縮成相對的大數，把原來較小的數壓縮在密集的空間，把資料間的margin壓縮得越來越大，這就類似金字塔效應，你能力比別人強一些，得到的收益可能比別人強太多。

cnn中卷積計算並不是真正的數學上的卷積。數學上的卷積運算可交換性的出現是因為我們將核相對輸入進行了翻轉。乙個基於核翻轉的卷積運算的演算法所學得的核，是對未進行翻轉的算法學得的核的翻轉。訓練的時候若是用真正的卷積（翻轉），測試的時候也得用真正的卷積（翻轉），這樣就相當於沒翻轉。

卷積稀疏互動。相對fc來言，同樣的是一層網路的units，卷積層互動次數少，filter size遠小於input feature map size，這就會有receptive field稀疏（全為0或者說有效特徵資訊少）。

卷積權值共享。滑動過程同一filter的值固定。

cnn隨著網路的深入，input feature map的w/h變小c變大，也就是慢慢失去位置資訊，最終flatten之後fc實現概率對映的分類問題。

pooling具有少量平移不變性。這個是基於如下假設：對輸入進行「少量」平移，經池化後的大多數輸出不發生改變。個人理解這條性質跟filter size、stride等有很大的關係。