這篇部落格是吳恩達deeplearing.ai系列第四門課程第一周內容的個人總結。前三門課程的內容總結之後慢慢補上(好像看到了乙個flag呀了_(:з」∠)_)。
第一周主要介紹計算機視覺的概念和應用,以及卷積神經網路的原理和組成部件這些基礎知識點。
本小節介紹了計算機視覺較常見幾種應用,這些內容在稍後課程中會進行詳細介紹。
計算機視覺應用的一大困難就是計算量過大。如果你要操作大,比如一張1000×1000的,它足有1兆那麼大,但是特徵向量的維度達到了1000×1000×3,因為有3個rgb通道,所以數字將會是300萬。如果你要輸入300萬的資料量,這就意味著,特徵向量的維度高達300萬。所以在第一隱藏層中,你也許會有1000個隱藏單元,而所有的權值組成了矩陣
為方便神經網路處理大,我們需要引入卷積計算。
藉此理解卷積的意義,某種程度上可以把卷積視為乙個濾波器。
在接下來的課程中,我們將詳細去**如何使用反向傳播去讓神經網路學習這9個數字。但在此之前,我們需要先討論一些其它細節,比如一些基礎的卷積運算的變數。
大小就是
解,那麼p=(f-1) / 2。所以當是乙個奇數的時候,只要選擇相應的填充尺寸,你就能確保得到和輸入相同尺寸的輸出。
卷積的步長是構建卷積神經網路的基本操作。
注意無法整除時,需向下取整。
除了卷積層,卷積網路也經常使用池化層來縮減模型的大小,提高計算速度,同時提高所提取特徵的魯棒性。
池化層的超引數:池化層沒有要學習的引數,它只是乙個靜態屬性。
1 .2 .
3 .常用引數為
示例如圖,目的是識別0~9十個數字,最後的softmax層有十個輸出。此例中的卷積神經網路很典型,看上去它有很多超引數,關於如何選定這些引數,常規做法是,盡量不要自己設定超引數,而是檢視文獻中別人採用了哪些超引數,選乙個在別人任務中效果很好的架構,那麼它也有可能適用於你自己的應用程式。
構建深度卷積的模式:
啟用值形狀和啟用值大小:
由上表可知,對於卷積網路的引數:
許多計算機視覺研究正在探索如何把這些基本模組整合起來,構建高效的神經網路,整合這些基本模組確實需要深入的理解。根據我的經驗,找到整合基本構造模組最好方法就是大量閱讀別人的案例。
神經網路可以通過這兩種機制減少引數,以便我們用更小的訓練集來訓練它,從而預防過度擬合。同時,卷積神經網路善於捕捉平移不變。通過觀察可以發現,向右移動兩個畫素,中的貓依然清晰可見,因為神經網路的卷積結構使得即使移動幾個畫素,這張依然具有非常相似的特徵,應該屬於同樣的輸出標記。實際上,我們用同乙個過濾器生成各層中,的所有畫素值,希望網路通過自動學習變得更加健壯,以便更好地取得所期望的平移不變屬性。
訓練神經網路的過程中,我們將訓練集輸入到卷積神經網路中,對網路進行訓練。利用梯度下降(adam、momentum等優化演算法)最小化代價函式來尋找網路最優的引數。
《1。卷積神經網路》
1.簡述卷積的基本操作,並分析其與全連線層的區別 答 具有區域性連線和權值共享的特點。卷積操作能夠在輸出資料中大致保持輸入資料的結構資訊 2.在卷積神經網路中,如何計算各層的感受野大小?答 3.卷積層的輸出尺寸 參數量和計算量 答 輸出尺寸 1.簡述分組卷積及其應用場景 答 分組卷積就是將輸入通道和...
卷積神經網路 1 1 卷積核
卷積神經網路中卷積核的作用是提取影象更高維的特徵,乙個卷積核代表一種特徵提取方式,對應產生乙個特徵圖,卷積核的尺寸對應感受野的大小。經典的卷積示意圖如下 5 5的影象使用3 3的卷積核進行卷積,結果產生3 3 5 3 1 的特徵影象。卷積核的大小一般是 2n 1 2n 1 的奇數乘奇數大小 n 1 ...
卷積神經網路 1 1 卷積核
卷積神經網路中卷積核的作用是提取影象更高維的特徵,乙個卷積核代表一種特徵提取方式,對應產生乙個特徵圖,卷積核的尺寸對應感受野的大小。經典的卷積示意圖如下 5 5的影象使用3 3的卷積核進行卷積,結果產生3 3 5 3 1 的特徵影象。卷積核的大小一般是 2n 1 2n 1 的奇數乘奇數大小 n 1 ...