我課題組做基於深度學習的影象處理主要分兩條線：
我的方向是網路壓縮，為了以後方便展開，下邊先簡要介紹幾種網路壓縮的方式，：
1 網路修剪
網路修剪,採用當網路權重非常小的時候(小於某個設定的閾值),把它置0,就像二值網路一般；然後遮蔽被設定為0的權重更新，繼續進行訓練；以此迴圈，每隔訓練幾輪過後，繼續進行修剪。
2 權重共享
對於每一層的引數,我們進行k-means聚類,進行量化,對於歸屬於同乙個聚類中心的權重,採用共享乙個權重,進行重新訓練.需要注意的是這個權重共享並不是層之間的權重共享,這是對於每一層的單獨共享
3 增加l2權重
增加l2權重可以讓更多的權重，靠近0，這樣每次修剪的比例大大增加。
3 從結構上，簡化網路計算
深度學習 網路正則化
in 1n i 1n yi f xi 2 r d min 1n i 1n yi f xi 2 r d 2 12 22l2 12 222 1 i i l2 1 i i 1 1 2 22 1 1 2 22 2 c 2 原理 對於某層神經元，在訓練階段均以概率p隨機將該神經元權重設定為0，在測試階段所有神...
深度學習網路結構
lenet 一共有五層，兩層卷積加三層全連線，架構如下 卷積部分 均無padding 輸入kernel size stride kernel個數 輸出池化 第一層卷積 32 32 3 5 51 628 28 6 14 14 6 第二層卷積 14 14 6 5 51 1610 10 16 5 5 16...
深度學習 網路訓練技巧
1.1 學習率 learning rate 學習率 是控制模型學習效率 步長 的權重。學習率的大小區分區別 學習率大 學習率小 學習速度快慢 應用場合 訓練初期 數次epoch過後 缺點1.容易損失過大 2.容易發生振盪 1.容易過擬合 2.收斂速度慢 學習率的設定 在訓練過程中，一般根據訓練輪數設...