目錄：
1、rnn
2、gru
3、lstm
一、rnn
1、rnn結構圖如下所示：
其中：$a^ = \boldsymbolh^ + \boldsymbol_x^ + \mathbf$
$h^ = f(a^)$, f 是激勵函式，sigmoid或者tanh
$\hat^ = uh^$
2、rnn中的梯度消失與梯度膨脹
總損失是所有時間步的和：$e = \sum_^e_$，所以$\frac = \sum_^\frac}$
而
$\frac}} = \frac)}} = f^(a_)w$, 不知道是w還是wt，大概是這樣的，因為是累乘，所以如果f'太大或者太小就會梯度膨脹或消失
二、gru
參考
相對於rnn來說，gru主要增加了兩個門 重置門 r 和 更新門 u，重置門用來決定會保留多少歷史資訊，如果是0的話，就不會保持歷史資訊；更新門用來衡量當前與歷史的取捨
gru是如何解決梯度消失與膨脹的？
好像是這樣，但是感覺還是不能解決梯度消失，如果zj和後面的偏導都非常小，還是會梯度瀰散？
三、lstm
深度學習（一）深度學習學習資料
持續更新 一 學習清單 1 收集了各種最新最經典的文獻，神經網路的資源列表 2 計算機視覺學習清單 3 機器學習學習清單 二 訓練資料 人臉資料 1 香港中文大學訓練資料集 此資料庫包含了20w張人臉，每張標註了5個特徵點 以及幾十種屬性 是否微笑 膚色 髮色 性別等屬性 2 68個人臉特徵點 3 ...
深度學習系列 深度學習簡介
機器學習 使用計算機系統利用經驗改善效能，是人工智慧領域的分支，也是實現人工智慧的一種手段。表徵學習關注如何自動找出表示資料的合適方式，以便更好地將輸入變換為正確的輸出。深度學習 具有多級表示的表徵方法，在每一級 原始資料開始 通過簡單的函式將該級的表示變換為更高階的表示。可以將深度學習看作多個簡單...
深度學習深度學習（一）開篇
深度學習 深度學習 記得9年前寫的一篇部落格，十年的程式設計師，一晃眼，差不多10年又快到了。這一輪的人工智慧，深度學習，他是我見到的乙個非常特殊的程式設計方式 用資料程式設計。是的，他絕對不像其他的程式語言，是完全乙個嶄新的天地，掌握她，絕對會帶來驚喜 你會發現以前感覺超級難的東西會忽然 哇，這個...