1.卷積層的設定：no cov，1layer，2layer，...,nlayer。
2.卷積層隱藏單元的數量：
3.最優池大小：
4.backpropagation through time (bptt)：bptt演算法是常用的訓練rnn的方法，其實本質還是bp演算法，只不過rnn處理時間序列資料，所以要基於時間反向傳播，故叫隨時間反向傳播。bptt的中心思想和bp演算法相同，沿著需要優化的引數的負梯度方向不斷尋找更優的點直至收斂。綜上所述，bptt演算法本質還是bp演算法，bp演算法本質還是梯度下降法，那麼求各個引數的梯度便成了此演算法的核心。
5.unrolling recurrent neural networks：a gentle introduction to rnn unrolling；searching：lstm is unrolled for 20 time steps
關於神經網路的一些認識
如果說線性分類器使用直線作為分類的邊界，那麼神經網路則是在使用線性分類的基礎上加了非線性的分類，也就是曲線。直接說就是，比如在svm上是權重w與輸入x相乘之後就是計算損失函式 直接使用w權重矩陣對輸入x進行分類，而神經網路是在使用w權重對輸入x進行分類之前，先用啟用函式計算輸入x的值，而神經網路裡則...
關於卷積神經網路的一些定義
卷積神經網路 convolutional neural networks,cnn 是一類包含 卷積計算且具有深度結構的 前饋神經網路 feedforward neural networks 是 深度學習 deep learning 的代表演算法之一 1 2 由於卷積神經網路能夠進行平移不變分類 sh...
神經網路中的一些常見概念
損失函式 學習率過擬合 為啥需要啟用函式？在神經網路中，我們的輸入層通過各個連線上的權值，進行加權求和後傳遞到下一層，這種處理方式往往是呈線性組合的狀態，而我們知道一般線性函式的值域是負無窮到正無窮，也是就是說線性組合的模型缺乏逼近能力，而我們的神經網路的訓練大多需要乙個梯度下降即尋找最小誤差的過程...