cnn的提出以及優勢
簡單卷積網路示例
池化層
其他使用卷積的原因
相比標準神經網路,對於大量的輸入資料,卷積過程有效地減少了 cnn 的引數數量,原因有以下兩點:
1,引數共享(parameter sharing):特徵檢測如果適用於的某個區域,那麼它也可能適用於的其他區域。即在卷積過程中,不管輸入有多大,乙個特徵探測器(濾波器)就能對整個輸入的某一特徵進行探測。
2,稀疏連線(sparsity of connections):在每一層中,由於濾波器的尺寸限制,輸入和輸出之間的連線是稀疏的,每個輸出值只取決於輸入在區域性的一小部分值。
池化過程則在卷積後很好地聚合了特徵,通過降維來減少運算量。
由於 cnn 引數數量較小,所需的訓練樣本就相對較少,因此在一定程度上不容易發生過擬合現象。並且 cnn 比較擅長捕捉區域位置偏移。即進行物體檢測時,不太受物體在中位置的影響,增加檢測的準確性和系統的健壯性。
資料擴增
1,計算機視覺領域的應用都需要大量的資料。當資料不夠時,資料擴增(data augmentation)就有幫助。常用的資料擴增包括映象翻轉、隨機裁剪、色彩轉換。
2,其中,色彩轉換是對的 rgb 通道數值進行隨意增加或者減少,改變色調。另外,pca 顏色增強指更有針對性地對的 rgb 通道進行主成分分析(principles components analysis,pca),對主要的通道顏色進行增加或減少,可以採用高斯擾動做法來增加有效的樣本數量。具體的 pca 顏色增強做法可以查閱 alexnet 的相關**或者開源**。
3,在構建大型神經網路的時候,資料擴增和模型訓練可以由兩個或多個不同的執行緒並行來實現。
全連線層
在整個卷積神經網路中起到「分類器」的作用。如果說卷積層、池化層和啟用函式層等操作是將原始資料對映到隱層特徵空間的話,全連線層則起到將學到的「分布式特徵表示」對映到樣本標記空間的作用。
吳恩達《卷積神經網路》
一 yolo algorithm 把輸入的分割成3x3個格仔或19x19個格仔,每個格仔進行檢測輸出八個特徵,3x3就輸出3x3x8個向量。yolo演算法的優點是不需要乙個演算法跑很多次。相反這是單次卷積實現,在處理計算時很多步驟都是共享的,而且執行速度非常快可以達到實時識別。物件中點的座標在哪個格...
吳恩達 卷積神經網路
卷積神經網路 卷積操作 設輸入n,filter為f,padding為p,步長 stride 為s 則卷積 不滿足結合律,滿足結合律還需要對filter進行水平和垂直翻轉 之後影象大小為 n 2p f s 1 向下取整 rgb影象卷積操作 同時相乘相加,三個channel輸出乙個值 為什麼cnn可以避...
吳恩達 卷積神經網路
1 灰度影象,邊緣檢測,使用核函式的缺點,影象的向量會不斷的縮小,另外乙個就是邊緣的向量相比於中間的向量被覆蓋的次數會少很多。解決這個的方法就是padding在影象的周圍再新增一圈向量。2 核函式通常是奇數維向量 3 卷積層,池化層 選出某一區域的最大值,另外還有 平均池化,就是求乙個小區域的均值 ...