lstm最關鍵的就是實現cell state的傳輸，而gate的存在決定傳輸過程中，以前的cell state資訊多少需要拋棄，多少輸入資訊需要加入新的cell state，多少資訊需要輸出。(所以有forget, input, output三個gate)
忘記多少cell state：forget gate 觀察上乙個時刻的hidden state和此刻的輸入x，決定需要忘記上乙個時刻的cell state多少資訊（0表示全忘記，1表示全記住）
如何更新cell state：將forget gate乘以上一刻的cell state，將input gate乘以此刻的候選cell state，得到新的cell state
輸出資訊：將forget gate乘以此刻的tanh(cell state)
input的大小是 關於以上size的參考stackoverflow 、quora dan elton的回答。1∗x，hidden state和cell state的大小是
1∗d, weight matrix的大小是
rn+d∗rd
， 其中d就是num_lstm_units。
lstm的引數數量，參考stackoverflow：4d*(n+d)，d是num_lstm_units，n是input的維度。
講述lstm的forward和backward的過程：arun 的github部落格
一百多行**用python實現lstm的8位加法器，每行**都有詳細講解，並輔以gif：
一百多行實現原始的rnn 網路，用於處理character-level language來自karpathy github: min-char-cnn
lstm的python實現講解
tensorflow rnn cell的原始碼
visualizing and understanding recurrent networks
PMI理論學習
pmi九大知識領域 整合管理 工作範圍管理 時間管理 費用管理 質量管理 人力資源管理 溝通管理 風險管理和採購管理 和五個專案管理過程 啟動 計畫 執行 控制 收尾 九大知識領域包括 1 專案範圍管理 是為了實現專案的目標，對專案的工作內容進行控制的管理過程。它包括範圍的界定，範圍的規劃，範圍的調...
AI理論學習
關於ai理論學習的筆記 淺顯地理解ai領域，輸入如感知推理，輸出如下棋寫詩，有為了更好通過圖靈測試的仿生，或則是減少人工介入的 智慧型 圖靈測試就是讓人分不清是人還是機器，涉及自然語言處理 表達 推理和學習，刻意避免了直接的物理互動，完全的圖靈測試還包括計算機視覺和機械人控制，用以增強感知和輸出。亞...
kaggle理論學習
線性回歸很簡單，用線性函式擬合資料，用 mean square error mse 計算損失 cost 然後用梯度下降法找到一組使 mse 最小的權重。lasso 回歸和嶺回歸 ridge regression 其實就是在標準線性回歸的基礎上分別加入l1 和 l2 正則化 regularizatio...