誕生
相比較於傳統的hog+svm方法而言是一種新的方法，用來識別目標，例如用來識別mnist資料集，有不錯的成績
基本思想
區域性感受野、權值共享、池化、濾波器、損失函式、特徵提取
解決的問題
完成了的分類任務
誕生在神經網路訓練之前加入建議候選框（region proposal）層，所以新的網路被分為兩個部分：候選框+神經網路
基本思想
region proposal
解決問題
將一張分為不同的候選區域進行特徵提取
誕生在最後的卷積層之後加入了 roi pooling layer 並且損失函式使用了多工損失函式，將邊框回歸直接加入cnn網路中訓練。
roi池化層表示：將不同大小的特徵圖尺寸歸一化
網路首先將原始用選擇搜尋演算法得到候選區域，之後送入cnn，最後一層的普通卷積層改為rol池化層
基本思想
邊框回歸、整張提取一次特徵，將先前選取的建議框對映到特徵圖中，這樣就不需要每次都把框好的進行卷積。
解決問題
一張只提取一次特徵圖，節約時間
誕生因為候選框的生成也是需要時間的，希望加入另乙個網路來更高效的找出候選框，將找候選框的任務交給神經網路（rpn）去做，代替以前的建議框，rpn層本質上是乙個提取邊緣的網路。
模式成為：->>卷積層->>特徵圖->>候選框->>分類
基本思想
改變搜尋框的搜尋方式，取消候選框對映，直接在rpn網路中進行區域候選
解決問題
改變了選擇候選框的方式，傳統式–>深度學習式
誕生為了滿足實時檢測的需要
基本思想
將目標檢測任務轉換成為回歸問題
解決問題
縮短了建議框產生的時間，但是也產生了目標不能精準定位的問題
誕生為了解決yolo不能精確定位的問題
基本思想
使用anchor機制，**位置的方式發生了改變，並不是全圖特徵，而是錨點的周圍特徵
解決問題
精準定位，使用全圖的各個位置的多尺度特徵進行回歸。
深度學習 網路正則化
in 1n i 1n yi f xi 2 r d min 1n i 1n yi f xi 2 r d 2 12 22l2 12 222 1 i i l2 1 i i 1 1 2 22 1 1 2 22 2 c 2 原理 對於某層神經元，在訓練階段均以概率p隨機將該神經元權重設定為0，在測試階段所有神...
深度學習網路結構
lenet 一共有五層，兩層卷積加三層全連線，架構如下 卷積部分 均無padding 輸入kernel size stride kernel個數 輸出池化 第一層卷積 32 32 3 5 51 628 28 6 14 14 6 第二層卷積 14 14 6 5 51 1610 10 16 5 5 16...
深度學習 網路訓練技巧
1.1 學習率 learning rate 學習率 是控制模型學習效率 步長 的權重。學習率的大小區分區別 學習率大 學習率小 學習速度快慢 應用場合 訓練初期 數次epoch過後 缺點1.容易損失過大 2.容易發生振盪 1.容易過擬合 2.收斂速度慢 學習率的設定 在訓練過程中，一般根據訓練輪數設...