1）rnn難以訓練。有**表明大量不同的rnn架構，其表現力是同等的，任何效能上的差異都是由於某些架構比其他架構更容易優化導致的；
2）無監督難以訓練，因為模型的輸出通常（但不總是）更大——例如，1024 x 1024畫素，巨大的語音和文字序列；
3）gan難以訓練，但對目標函式進行了修改。原來jensen-shannon散度目標的簡單修改：最小二乘法，absolute deviation with margin，還有wasserstein距離；
4）強化學習難以訓練，而且也不穩定！因為優化隨機性太強，我們甚至不能用不同的隨機種子獲得相同的結果；
遺傳演算法是訓練深度神經網路的一種有效替代方法，dqn、a3c、和進化策略（es）也可以嘗試。
深度學習的發展與挑戰
本文介紹深度神經網路在不同的分類問題和接近人類水平效能的應用領域上的顯著成果。討論深度學習作為未來科學的各種疑問，揭示深度神經網路在機器執行任務方面的隱藏能力。簡介 智慧型系統的要求 1.識別和處理各維度的複雜資訊 2.獲取大量的資訊。深度學習通過應用反向傳播演算法來確定改變的引數，以正確計算前一層...
深度學習 研究方向
優化 optimization 深度學習的問題最後似乎總能變成優化問題，這個時候數值優化的方法就變得尤其重要。從實踐方面來說，現在最為推崇的方法依舊是隨機梯度遞減，這樣乙個極其簡單的方法以其強悍的穩定性深受廣大研究者的喜愛，而不同的人還會結合動量 momentum 偽牛頓方法 pseudo newt...
深度學習基礎
啟用函式 增加非線性 如果不用啟用函式，每一層節點的輸入都是上層輸出的線性函式。無論神經網路有多少層，輸出都是輸入的線性組合，與沒有隱藏層效果相當，因此網路的逼近能力就相當有限。將輸入的連續實值變換為0 1的輸出。反向傳播中易發生梯度消失，輸出不對稱 只輸出正值 輸出為 1 1 計算速度快，只需判斷...