如何理解卷積 權值共享 池化

2021-07-01 18:12:17 字數 857 閱讀 9784

要理解卷積,首先你要理解什麼是全連線和區域性連線,全連線是什麼?舉個例子,100*100大小的影象,假設有100個隱含神經元,那麼就有100*100*100個連線,

太可怕,區域性連線是什麼,假設每個隱含神經元只區域性連線10*10,那麼就有10*10*100個連線。

那麼什麼是卷積,什麼又是權值共享?

說道權值共享,就需要提到感受野,感受野其實就是乙個隱含神經元的區域性連線大小,權值共享就是感受野的權值一樣,也就是說,假設這層的感受野是2*2,這層隱含神經元就會有100*(2*2+1)的連線,這裡代表偏置。

卷積呢?這裡的卷積和訊號裡面的卷積還是有一定區別的,這裡的目的是,用小樣本來學習大樣本的特徵,假如小樣本是8*8,那麼每個神經元就可以得到(100-8+1)*(100-8+1)個特徵,這一層就一共有100*93*93個卷積特徵。

什麼是池化呢?

上面卷積不是獲得了特徵嗎?可是還是有很多的維數啊,100*93*93維的卷積特徵,太龐大了,為了解決這個問題,首先回憶一下,我們之所以決定使用卷積後的特徵是因為影象具有一種「靜態性」的屬性,這也就意味著在乙個影象區域有用的特徵極有可能在另乙個區域同樣適用。因此,為了描述大的影象,乙個很自然的想法就是對不同位置的特徵進行聚合統計,例如,人們可以計算影象乙個區域上的某個特定特徵的平均值 (或最大值)。這些概要統計特徵不僅具有低得多的維度 (相比使用所有提取得到的特徵),同時還會改善結果(不容易過擬合)。這種聚合的操作就叫做池化 (pooling),有時也稱為平均池化或者最大池化 (取決於計算池化的方法)。

也就是說,池化就是特徵的聚合統計,依據於影象的靜態性屬性。

做完以上工作,再進行全連線層的建立,訓練,並加上分類器,分類器可有有很多,knn,softmax,svm等等,再進行常規的訓練,也可以用wake-sleep的訓練。

如何理解卷積神經網路中的權值共享

權值共享這個詞最開始其實是由lenet5模型提出來,在1998年,lecun發布了lenet網路架構,就是下面這個 雖然現在大多數的說法是2012年的alexnet網路是深度學習的開端,但是cnn的開端最早其實可以追溯到lenet5模型,它的幾個特性在2010年初的卷積神經網路研究中被廣泛的使用 其...

通道 卷積核 神經元 權值共享的理解

1.通道和卷積核的理解 我們有rgb三通道的輸入影象,那麼我們如果獲得乙個特徵,那麼我們需要乙個卷積核,而這乙個卷積核包含三個矩陣。三通道的rgb影象通過這樣的卷積就會變成乙個通道的。比如我輸入的是rgb三個通道的影象7 7 3,那麼我們如果想得到乙個影象的乙個特徵,那麼我們需要1個3 3的卷積核,...

權值共享(卷積運算對比全連線運算)

如果不進行卷積操作,那麼所有的神經網路層之間將全部使用全連線。圖中的兩級神經元 所以,如果原圖的尺寸是 m n,假設特徵圖的尺寸為 p q 那麼運算的過程中的權重個數是 m n p q,權重的個數就是圖中兩層神經元之間的彩色的線的條數,因為圖中進行的操作是全連線操作。因此,由圖可見,會產生非常大量的...