以上內容取自於large pose invariant face recognition usingfeature-based recurrent neural network這篇*****的內容
------------------------------------這裡是萌萌噠
對於lstm來說，輸入與輸出之間的關係可以有：多對
一、多對多。
------------------------------------這裡是萌萌噠
gru（gated recurrent unit） 是由 k.cho 在"learning phrase representations using rnn encoder–decoder for statistical machine translation, 2014"中提出的。它是 lstm 的簡化版本，但在大多數任務中其表現與 lstm 不相伯仲，因此也成為了常用的 rnn 演算法之一。
gru 的具體結構與對應的公式如下：
其中，lstm 有三個 gate，而 gru 僅兩個
gru 沒有 lstm 中的 cell，而是直接計算輸出
gru 中的 update gate 類似於 lstm 中 input gate 和 forget gate 的融合；而觀察它們結構中與上一時刻相連的 gate，就能看出 lstm 中的 forget gate 其實**成了 gru 中的 update gate 和 reset gate
很多實驗都表明 gru 跟 lstm 的效果差不多，而 gru 有更少的引數，因此相對容易訓練且過擬合的問題要輕一點，在訓練資料較少時可以試試。
------------------------------------這裡是萌萌噠
------------------------------------這裡是萌萌噠
四、bidirectionrnn(雙向迴圈神經網路)
------------------------------------這裡是萌萌噠
------------------------------------這裡是萌萌噠
除了文中提到的幾種架構，rnn 還有其它一些變化。但總體而言 rnn 架構的演進暫時要遜色於 cnn，暫時常用的主要是 lstm 和 gru。同樣，也是由於 rnn 可講的比 cnn 少些，本次就只用一篇文章來介紹 rnn，內容上進行了壓縮。但是這不代表 rnn 簡單，相反不論是理論還是應用上，使用 rnn 的難度都要比 cnn 大不少。
RNN原理及其解決MNIST手寫數字識別
雙向迴圈神經網路 從這張圖可以看出，在經歷多次傳播之後，前面遠的神經元對現在的影響會變小，即出現梯度消失的情況，我們希望網路有個好的心態 選擇性記憶和遺忘，對他有影響的記下來，對他沒有沒有影響的忘記。為了解決rnn存在的梯度消失問題，科學家們花費7年時間，分析出了lstm 長短時記憶網路 解決了rn...
scribe 架構及其store
1 概述 scribe是facebook開源的日誌收集系統，在facebook內部已經得到大量的應用。它能夠從各種日誌源上收集日誌，儲存到乙個 儲存系統 可以是nfs，分布式檔案系統等 上，以便於進行集中統計分析處理。它為日誌的 分布式收集，統一處理 提供了乙個可擴充套件的，高容錯的方案。當 儲存系...
nginx常見架構
服務 nginx負載均衡 nginx快取服務 快取 1 靜態資源web服務 檔案讀取sendfile tcp nopush tcp nodelay 壓縮，預讀gzip模組 2 服務 3 負載均衡排程器slb 4 動態快取 新增cache control expires頭 靜態資源訪問 壓縮 list...