gru是lstm網路的一種效果很好的變體，它較lstm網路的結構更加簡單，而且效果也很好，因此也是當前非常流形的一種網路。gru既然是lstm的變體，因此也是可以解決rnn網路中的長依賴問題。
在lstm中引入了三個門函式：輸入門、遺忘門和輸出門來控制輸入值、記憶值和輸出值。而在gru模型中只有兩個門：分別是更新門和重置門。具體結構如下圖所示：
圖中的zt和rt分別表示更新門和重置門。更新門用於控制前一時刻的狀態資訊被帶入到當前狀態中的程度，更新門的值越大說明前一時刻的狀態資訊帶入越多。重置門控制前一狀態有多少資訊被寫入到當前的候選集 h~t 上，重置門越小，前一狀態的資訊被寫入的越少
GRU網路簡介
gru網路 一 gru簡介 gru玩咯是對lstm網路的簡化，gru使記憶體ht融合了長期記憶和短期記憶，ht包含了過去資訊ht 1和現在資訊h t，現在資訊是過去資訊ht 1過重置門與當前輸入共同決定，兩個門限的取值範圍也是0到1之間。前向傳播時，直接使用這個記憶體更新公式就可以算出每個時刻的ht...
迴圈神經網路 GRU
這裡我們首先來看一下gru是如何將lstm的三個門簡化成兩個門的結構的 這裡的r rr門 r門這裡同樣是乙個啟用函式 控制的是上乙個時間戳的狀態st 1s st 1 對我們的當前時間戳狀態s ts t st 的乙個影響，r的取值範圍依舊是在0到1之間，也就是說，當你的r門全部關閉 r 0 的時候，就...
迴圈神經網路 GRU
gru是由cho在2014年提出的，全稱是gated recurrent unit。它與lstm最大的不同在於gru將遺忘門和輸入門合成了乙個 更新門 同時網路不再額外給出記憶狀態c tc t ct 而是將輸出結果h th t ht 作為記憶狀態不斷向後迴圈傳遞，網路的輸入和輸出都變得特別簡單。具體...