1、google研究員ilya sutskever：成功訓練ldnn的13點建議
本文由ilya sutskever（google研究員、深度學習泰斗geoffrey hinton的學生、dnnresearch聯合創始人）所寫，講述了有關深度學習的見解及實用建議，包括深度學習為什麼強大，如何強大，以及訓練深度神經網路的tricks。
who is ilya sutskever？
看一下他個人部落格的乙個自我介紹吧（看完之後，膜拜~~~）：
2、ilya sutskever 關於深度學習的一些實用建議筆記
這是乙個簡單的小總結。
深度學習小trick收集
首先，梯度消失與梯度 的根本原因是基於bp的反向傳播演算法 且上述的反向傳播錯誤小於1 4 總的來說就是，更新w和b的時候，更新的步長與learningrate成正比，當所處的層數越淺，每層的w的值和反向傳播錯誤的值乘的愈多，導致w和b更新的步長收到很大影響，最終導致梯度 或者梯度消失。這時候深度網...
深度學習提高trick小技巧
在深度學習中，同乙個模型使用不同方式的初始化，比如 資料預處理，batch size,學習率，不同的優化器都能得到不同效能的引數。學習率的設定應該隨著迭代次數的增加而減小，每迭代完指定次epoch也就是對整個資料過一遍，然後對學習率進行變化，這樣能夠保證每個樣本得到公平的對待。使用動態的學習率有助於...
深度學習 如何訓練網路
目的 快速 有效地擬合。手段 隨機批處理 學習率 批規範化 模型優化演算法 遷移學習。隨機批處理，mini batch，一種在模型每輪 epoch 訓練進行前將訓練資料集隨機打亂 shuffle 的 訓練機制。可以防止被模型猜到 出樣本順序 作用 防過擬合。學習率，learning rate，控制模...