梯度下降
（1）mini-batch sgd 小批量隨機梯度下降
（例子寫的很清楚，感覺好理解）
cnn:
pooling目的是為了保持某種不變性（旋轉、平移、伸縮等），雖然池化的結果是使得特徵減少，引數減少，但是魯棒性也提高了，我是這麼理解的
通道解釋的挺好的：
為什麼卷積/池化？、cnn的反向傳播【還有例項講解】
吳恩達：（講的很好，尤其是全連線的地方）
cnn卷積神經網路各層的引數和鏈結個數的計算：
tf.nn.max_pool引數
le-net：
alexnet:提出relu和dropout
更多翻譯**：
啟用函式的優缺點：
alexnet相比與lenet有哪些變化？
cnn架構變化：（下面這個總結的很好，幾乎包括了所有網路結構）
inception：
resnet：
為什麼需要0均值化？加快反向傳播訓練速度，不過還是沒太懂。
cnn-text:
用cnn做句子分類:
(有完整資料和tensorflow**)
借助理解圖：
textcnn和rnn
abcnn用於句子分類（attention based cnn）
attention-based cnn：
rnnlstm
rnn例子：
seq2seq
深度學習過擬合問題
nlp資料增強：
5、過擬合
dropout：失活神經元
深度學習 目標檢測相關部落格鏈結
這篇部落格主要記錄網上看到覺得寫還不錯的部落格鏈結，但其中不乏有主題重複的文章。有相同方向的同學可以關注一下這篇部落格，一起討論目標檢測方面的問題。部落格會一直更新，如果很長時間沒有看到我更新，那可能我已經轉行了，哈哈，開個玩笑。計算機視覺基礎 最近鄰插值 雙線性插值 雙三次插值 非極大值抑制演算法...
深度學習的相關知識blabla
mlp multilayer perceptron 多層感知器，只使用全連線層 fully connected layer，並且只接受向量 vector 作為輸入，沒有鄰域資訊。cnn convolutional neural network 卷積神經網路採用區域性連線層 locally conne...
深度學習 深度學習基礎知識 學習率相關技巧
對不同的網路層數使用不同的學習率，這樣可以防止過擬合，有利於加速學習。週期性學習率 loss的組合進行學習率選取。首先嘗試使用較低學習率來訓練神經網路，以指數形式增加，同時，記錄每個學習率對應的loss值，然後畫出學習率和loss值的關係圖，通過找出學習率最高且loss值人在下降的值來確定最佳學習率...