通過閱讀那篇文章,又理解了很多cnn的知識。
影象在計算機中是一堆按順序排列的數字,可以用個正方形矩陣表示,每個點的值為0-255.0最暗,255最亮。彩色圖由3個矩陣疊加而成。
cnn具有滿足畫面不變性的特點,目標的平移,旋轉,大小,和明暗,應該盡可能不影響判定。
cnn就是讓權重在不同位置共享的神經網路。
我知道了卷積計算的過程。
當的深度大於1時,卷積核會貫穿做運動。就像切蛋糕一樣切到底,不太好描述。
每個filter會在width維, height維上,以區域性連線和空間共享,並貫串整個depth維的方式得到乙個feature map
將不同filters所卷積得到的feature maps按順序堆疊後,就得到了乙個卷積層的最終輸出。
卷積後的長方體可以繼續送入另乙個卷積層做卷積,得到更豐富更抽象的表示。
使用zero pading可以使得卷積後的特徵圖size不變。
為了增強模型的擬合能力,要加入非線性。比如將特徵圖進行rulu變換等。
池化就是對做簡化,去除掉冗雜的部分。在不同的depth上是分開執行的,
首次利用gpu進行網路加速訓練。
使用了rule啟用函式,而不是傳統的sigmoid啟用函式以及tanh啟用函式
使用了lrn區域性響應歸一化
在全連線層的前兩層中使用了dropout隨機失火神經元操作,減少過擬合。
過擬合的理解:就是學習到的函式完美的**了訓練集,但對新資料的測試集**結果差。過度的擬合了訓練資料,沒有考慮到泛化能力。
使用清一色的3×3卷積核。
通過堆疊多個3×3的卷積核來替代大尺度卷積核(降低所需引數)。擁有相同的感受野。
感受野:決定某一層輸出結果中乙個元素所對應的輸入層的區域大小。。通俗的說,輸出feature map上的乙個單元對應輸入層上的區域大小。
inception網路很好的解決了當網路越深越寬時產生的***
,越深越寬的網路往往有巨大的參數量,當訓練資料少的時候,很容易過擬合。inception網路很好的解決了這點
inception網路也可以解決梯度消失現象
上圖是inception的模組,inception網路由多個這樣的模組構成。
inception網路框架中會有額外的兩個softmadx**層,這兩個**層分別是從網路框架中間部分引出的分支,用於反向傳播更新梯度,這樣就避免了因梯度消失導致淺層的網路引數無法更新。這兩個分支只在訓練的時候防止梯度消失會用到,真正做**的時候需要刪除。
Python一周學習的小結
eoc 簡單優雅 沒有嚴格的靜態型別 基礎語法格式啥的就不講了,懂的人自然懂 python中基礎的資料結構有這麼幾個 上面這些資料結構有什麼特點,怎麼產生,怎麼使用 怎麼訪問 list list 的元素可以是不同的型別,也可以內部巢狀list l item 1 item 2 1,2,inner 1 ...
一周工作小結
一連幾天都比較忙,前天和老許一起去了學校,看了看羅捷小組的專案,然後我們就在邊上偷笑,發現和我們還是有段距離的,hoho。中午在重慶雞功煲吃的,我的本意是要請羅捷吃頓的,他畢竟幫了我們滿大的乙個忙,可是怎麼拉他都不去,那也只好算了,下午又和泡泡,老許去游泳。這個泡泡真是差點氣 死我。交給我的詳細設計...
3 21一周小結
這周依舊是做貪心的題目,不過這周題目做起來要比之前舒服很多,當時在做ride to office時,剛開始看以為是追趕問題,想著就會很麻煩,但是,在經過一段時間掙扎後,我看了看別人寫的題解,才豁然頓悟,貪心的應用如同它本意一樣,要找到最優解,而不是侷限在自己那一點思維當中,要會去深入思考。再後來的做...