複習:cnn入門
一文搞懂卷積神經網路:寫的好,符合認知規律
cnn細節
啟用函式概念,啟用函式與損失函式,損失函式:交叉熵損失函式
卷積-通道數
卷積-感受野
l1,l2正則化,l1,l2正則化2
梯度消失或者·梯度下降
卷積神經網路:模擬人腦的分級處理和視覺神經的區域性感知
提出的基於卷積神經網路的深度學習的網路結構:
資料集: fer2013人臉表情資料集
實驗:
cnn模型結構:2卷積+池化+3卷積+池化+全連線+softmax輸出多分類問題,七類表情識別分類
這個資料集是乙個大型專案的一部分,是用谷歌的人臉識別api獲得的,進行了各種邊界處理、去重和裁剪的48*48灰度圖(所以其實自己能做的資料增強選項不多)。fer2013有採集錯誤,人類也只有65%±5%的準確度fer2013訓練集與測試集有一定差距,難以達到理想的泛化效果,所以用各種優化都能明顯、或者比較明顯的看到實際的改進,反饋好,很適合學習
使用卷積神經網路[14]對影象轉換進行歧視性訓練。勝利者yichuan tang,他將svm的primal objective作為loss去訓練,然後加了乙個l2-svm的loss。這是一種在競賽資料集等方面取得了巨大成果的新發展題主的思路:普通卷積網路+交叉熵來做,再考慮後續優化
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入,它將深度學習的思想引入到了神經網路當中,通過卷積運算來由淺入深的提取影象的不同層次的特徵,而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數,從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象,我盡量在下面描述細緻一些,但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張,通過對應位置相乘求和,我們從左邊矩陣得到了右邊矩陣,邊緣是白色寬條,當畫素大一些時候,邊緣就會變細。觀察卷積核,左邊一列權重高,右邊一列權重低。輸入,左邊的部分明亮,右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡,下面這個圖左邊暗...
卷積神經網路 有趣的卷積神經網路
一 前言 最近一直在研究深度學習,聯想起之前所學,感嘆數學是一門樸素而神奇的科學。f g m1 m2 r 萬有引力描述了宇宙星河運轉的規律,e mc 描述了恆星發光的奧秘,v h d哈勃定律描述了宇宙膨脹的奧秘,自然界的大部分現象和規律都可以用數學函式來描述,也就是可以求得乙個函式。神經網路 簡單又...