注：圖
中用h′
表示h~
trt=
σ([h
t−1,
xt]⋅
wr)z
t=σ(
[ht−
1,xt
]⋅wz
)h~t
=tanh(
[rt∗
ht−1
,xt]
⋅wh~
)ht=
(1−z
t)∗h
t−1+
zt∗h
~tyt
=σ(h
t⋅wo
)\begin 注：圖中用 h^ 表示 \tilde_ \\ r_=\sigma\left([h_, x_] \cdot w_\right) \\ z_=\sigma\left([h_, x_] \cdot w_\right) \\ \tilde_=\tanh \left(\left[r_ * h_, x_\right] \cdot w_}\right) \\ h_=\left(1-z_\right) * h_+z_ * \tilde_ \\ y_=\sigma\left(h_ \cdot w_ \right) \end
注：圖中用h
′表示h
~tr
t=σ
([ht
−1,
xt]
⋅wr
)zt
=σ([
ht−1
,xt
]⋅w
z)h
~t=
tanh([
rt∗
ht−1
,xt
]⋅w
h~)
ht=
(1−z
t)∗
ht−1
+zt
∗h~
tyt
=σ(
ht⋅
wo)
[ ]是將方括號內的矩陣拼接相連，如：[2, 3] 與 [11] 拼接成 [2, 3, 11]
*表示矩陣的阿達馬乘積，即元素對位相乘
σ
\sigma
σ 是sigmoid函式 ，將資料縮放到 （0 ，1）；tanh是雙正切函式，將資料縮放到 （-1 ， 1）
reset重置門：決定丟棄前一時刻的狀態資訊的程度，r 越小丟棄越多，r範圍（0，1）
update更新門：在這，（1-z）構成遺忘門（參考lstm）選擇性遺忘前一時刻狀態資訊 ht−
1h_
ht−1
，選擇性記憶當前隱藏狀態資訊h′h^
h′，最後得到 ht_
ht 。有些部落格是反過來的 ht=
zt∗h
t−1+
(1−z
t)∗h
~t
h_=z_ * h_+(1-z_) * \tilde_
ht=zt
∗ht
−1+
(1−z
t)∗
h~t
即把z當作遺忘門，問題不大，其實道理都差不多，懂我意思吧~
如果有錯，非常歡迎指出錯誤，我會積極接受人民群眾的批評，未完待續~
參考鏈結
新手都能看懂的Dubbo！
1.dubbo架構 上述節點簡單說明 呼叫關係說明 1.服務容器負責啟動，載入，執行服務提供者。2.服務提供者在啟動時，向註冊中心註冊自己提供的服務。3.服務消費者在啟動時，向註冊中心訂閱自己所需的服務。4.註冊中心返回服務提供者位址列表給消費者，如果有變更，註冊中心將基於長連線推送變更資料給消費者...
小白都能看懂的block
首先說明一下，我自己也是乙個小白 這是我對block的一點認識或總結，有不對的地方，希望大家指出來 block就是乙個 塊，用來執行一小段程式的，通常我們定義乙個block 可以用它的基本模型，返回值型別 變數的名字 引數型別 例如 int myblock int 這就是定義了乙個block 這個變...
小白也能看懂的XML簡介
目錄 一.xml簡介 二 xml用途 三 xml結構 四 xml語法 五 xml元素 六 xml屬性 七 總結 1.xml指可擴充套件標記語言，很類似html。xml被設計為傳輸和儲存資料，其焦點是資料的內容 html被設計用來顯示資料，其焦點是資料的外觀。2.xml的設計宗旨是傳輸資料，而非顯示資...