GRU詳解全網最強大廠面試級深度的知識點整理

mask

gru（gate recurrent unit）是迴圈神經網路（recurrent neural network, rnn）的一種。和lstm（long-short term memory）一樣，也是為了解決長期記憶和反向傳播中的梯度等問題而提出來的。

gru和lstm在很多情況下實際表現上相差無幾，那麼為什麼我們要使用新人**gru（2023年提出）而不是相對經受了更多考驗的lstm（1997提出）**呢。

引用**中的一段話來說明gru的優勢所在：

簡單來說就是貧窮限制了我們的計算能力…

相比lstm，使用gru能夠達到相當的效果，並且相比之下更容易進行訓練，能夠很大程度上提高訓練效率，因此很多時候會更傾向於使用gru。

ok，那麼為什麼說gru更容易進行訓練呢，下面開始介紹一下gru的內部結構。

gru的輸入輸出結構與普通的rnn是一樣的。

那麼，gru到底有什麼特別之處呢？下面來對它的內部結構進行分析！

這裡的h′h'

h′主要是包含了當前輸入的 x

tx^t

xt資料。有針對性地將 h′h'

h′新增到當前的隱藏狀態（下圖中h

th^t

ht的計算裡包含有h′h'

h′），相當於「記憶了當前時刻的狀態」。先看下面的總體的更新公式，再回頭記憶這個公式會好記一點。

gru必須先看上面的這個更新表示式，然後再對h′h'

h′進行展開理解！！！

gru輸入輸出的結構與普通的rnn相似，其中的內部思想與lstm相似。

與lstm相比，gru內部少了乙個」門控「，引數比lstm少，但是卻也能夠達到與lstm相當的功能。考慮到硬體的計算能力和時間成本，因而很多時候我們也就會選擇更加」實用「的gru啦。

在實踐中，一般認為lstm和gru之間並沒有明顯的優勝者。因為gru具有較少的引數，所以訓練速度快，而且所需要的樣本也比較少。而lstm具有較多的引數，比較適合具有大量樣本的情況，可能會獲得較優的模型。

在andrew的課程中表示，如果只能選擇乙個模型，那麼lstm是大家的default rnn。