mlp (multilayer perceptron) 多層感知器，只使用全連線層（fully connected layer，並且只接受向量（vector）作為輸入，沒有鄰域資訊。
cnn (convolutional neural network) 卷積神經網路採用區域性連線層（locally connected layer）並且可接受矩陣（matrix）作為輸入。
在影象處理上，cnn 使用稀疏連線層，來解決 mlp 向量輸入時丟失的畫素或畫素之間的 2d 空間資訊（spatial information）。
經驗風險最小化其實就是最小化loss
結構風險最小化其實就是最小化loss的函式裡面加入正則項
深度學習 深度學習基礎知識 學習率相關技巧
對不同的網路層數使用不同的學習率，這樣可以防止過擬合，有利於加速學習。週期性學習率 loss的組合進行學習率選取。首先嘗試使用較低學習率來訓練神經網路，以指數形式增加，同時，記錄每個學習率對應的loss值，然後畫出學習率和loss值的關係圖，通過找出學習率最高且loss值人在下降的值來確定最佳學習率...
深度學習演算法和相關知識部落格記錄
梯度下降 1 mini batch sgd 小批量隨機梯度下降 例子寫的很清楚，感覺好理解 cnn pooling目的是為了保持某種不變性 旋轉 平移 伸縮等 雖然池化的結果是使得特徵減少，引數減少，但是魯棒性也提高了，我是這麼理解的 通道解釋的挺好的 為什麼卷積 池化？cnn的反向傳播 還有例項講...
深度學習的知識總結
1 構建和理解乙個網路，就是那8部分，最重要的是前向傳遞，前向傳遞搞懂了就都懂了，剩下反向傳播最重要的就是損失值的計算了。2 目標檢測的訓練比較複雜，一般分為2步驟，先訓練主幹分類網路，之後再訓練檢測網路。4 三大要素 1 資料 2 演算法 3 算力 5 三大能力 1 演算法理解能力 2 實現能力 ...