目錄參考資料
lstm 是 rnn 的公升級版，應用更廣泛。
解決的問題：
增加控制引數c，保留有價值的資訊；
c 可以看做乙個權重列表：[0, 0.1, 0.8, 1] 捨棄，小部分保留，大部分保留，全部保留。
lstm 的重點是 控制引數怎麼更新
門是一種讓資訊選擇式通過的方法
sigmoid 神經網路層和一乘法操作
sigmoid 公式：
$ g(z) = \frac}$
sigmoid 在負無窮到正無窮的範圍類，數值在 0--1 之間；
描述每個部分多少量可以通過，0代表不允許任何量通過，1 代表允許任何量通過。
深度學習 LSTM（長短時記憶網路）原理詳解
這篇來說一說lstm，這兩個最大的不同之處在於lstm多了乙個門。gru有update gate 更新門 reset gate 重置門 而lstm有三個門，update gate 更新門 forget gate 遺忘門 output gate 輸出門 一般說的lstm的h，c指的是 見下圖 可以看到...
長短期記憶網路 長短期記憶網路 LSTM 簡介
考慮這樣乙個場景，當我們在看乙個精彩的電影時，我們會被電影中的各個精彩情節所吸引，但是我們不能夠記住所有的電影情節。當觀影結束時，我們會立馬忘記電影裡面一些無關緊要的情節，留在我們腦海中的可能更多的是一些對劇情發展起關鍵作用的場景，這些場景可能在之後的很長一段時間後依然停留在我們的腦海中，以至於當我...
lstm原理 長短期記憶網路LSTM
上兩小節我們主要講述了迴圈神經網路rnn，但是儘管 rnn 被設計成可以利用歷史的資訊來 當前的決策，例如使用之前出現的單詞來加強對當前單詞的理解，但是 rnn決策的主要還是最後輸入的一些訊號，更早之前的訊號會隨著時間的推遲而變得強度越來越低，它對後續的影響越來越弱。這樣就會給rnn帶來了新的技術挑...