cnn是深度學習的乙個框架,是深度學習在影象領域的應用。主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。
剛開始接觸,把學習過程記錄下來。
首先得知道cnn中的convolution體現在哪,cnn與一般濾波的區別在哪,cnn的一般過程。
ufldl中講到了卷積特徵提取和池化:
這篇博文講的很好裡面用顯示了cnn的一些過程。
這篇博文講了cnn的大概結構
在cnn中,往往會有多層卷積,那這些多層卷積的訓練樣本是怎麼來的呢,這篇博文給出了答案:
這位大神對cnn的原始碼進行了分析,可惜很多地方還是不理解:
注:研究發現,訓練好的cnn各個層分別表示如下特徵:顏色->邊緣->模組->更大的模組。
啟用函式使用relu可能會導致稀疏(在小於0是為0),也可能導致資料過大。因此,在下取樣後送入啟用函式之前,需要歸一化。
隨機過程可以提高泛化能力。
全連線時訓練可用bp演算法,那對於cnn如何訓練呢?對於下取樣層的殘差,可以直接複製;對於卷積層的殘差,是對下取樣層中與此
相關的點的加權和。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入,它將深度學習的思想引入到了神經網路當中,通過卷積運算來由淺入深的提取影象的不同層次的特徵,而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數,從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象,我盡量在下面描述細緻一些,但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張,通過對應位置相乘求和,我們從左邊矩陣得到了右邊矩陣,邊緣是白色寬條,當畫素大一些時候,邊緣就會變細。觀察卷積核,左邊一列權重高,右邊一列權重低。輸入,左邊的部分明亮,右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡,下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習,聯想起之前所學,感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律,e mc 描述了恆星發光的奧秘,v h d哈勃定律描述了宇宙膨脹的奧秘,自然界的大部分現象和規律都可以用數學函式來描述,也就是可以求得乙個函式。神經網路 簡單又...