1.卷積和池化關係
一般先卷積後池化
卷積的時候盡量不壓縮影象的長寬，盡量保留更多的資訊，
卷積會無意的丟失一些資訊，因此池化可以解決這個問題，在池化進行壓縮。
2.評價：
連續資料的精度:r2 score
不均衡資料的精度:f1 score
過擬合：l1/l2 regularization, dropout
l1 regularization: y』=wx
cost=(y』 - y)2+|w|
l2 regularization: y』=wx
cost=(y』 - y)2+|w|2
3.啟用函式的選擇
神經網路的隱藏層數目少的時候，選擇af比較隨意，數目很多需要考慮。
卷積層推薦relu,rnn中推薦relu,tanh
4.加速神經網路的訓練
梯度下降gd
1)sgd: stochastic gradient descent隨機梯度下降
w+ = -learning rate * dx
2) momentum: m=b1 * m - learning rate * dx w+=m
3) adagrad: v + = dx^2 w+ = -learning rate * dx / sqrt(v)
4) rmsprop: mmentum + adagrad
v = b1 * v + (1-b1) * dx^2
w+ = -learning rate * dx / sqrt(v)
5.bn資料標準化
將分散的資料統一的一種優化神經網路的演算法。一般在網路層輸出和啟用函式之間。
6.資料取樣-處理不均衡資料
通過取樣的方法來修改訓練樣本的比例，增加少數類樣本或者減少多數類樣本使訓練樣本基本達到平衡狀態，使分類器能得到接近標準分類器的結果。
欠取樣：通過減少樣本個數（通常指多數類樣本）來獲得原始資料集的子集。(可能會丟棄掉某些潛在的有用的樣本)
過取樣：通過複製某些已經存在樣本或者是創造新的樣本來擴大原始資料集。(重複學習會增加某些個例的權重，增加過擬合的可能性。)
有關深度學習領域的幾點想法
今天早上吃完飯，在去往實驗室的路上，腦袋了突然冒出乙個奇怪的想法，就是萬一將來人家公司的hr問我 既然你是做deeplearning研究的，那你對深度學習有什麼個人體會？我該怎麼說呢？因此為了應對這一丟丟的可能性，我就在食堂去往實驗室的路上，用這二十分鐘的時間稍稍把自己腦子中的想法總結總結，現在到了...
有關深度學習領域的幾點想法
1深度學習的特徵提取能力為何如此之強？這個問題困擾著很多深度學習的領域的大牛，很多人都希望能夠解決這個問題，對應的就是試圖從理論層面解讀深度學習結構的優勢所在以及產生這種優勢的原因。畢竟imagenet都快被完爛了，cnn的引數也幾乎被調遍了，但本質問題依然沒有解決，人類的求知本能迫使我們去想 de...
深度學習中網路設計的幾點經驗
池化方式有兩種 1 最大池化 2 平均池化 在實驗中我發現，最大池化要比平均池化慢很多，效果也不如平均池化好。所以，池化的方式我們盡量選擇平均池化。卷積的大小，遵守奇數設計原則，如 1,3,5,7 兩個網路最終都要接乙個全連線，你一定要保證輸入全連線網路的shape是二維的，即 網路最終抽取特徵的維...