動手實現lstm**的時候，因為忘記了各種門的原理，總感覺磕磕絆絆的。在這裡重新鞏固一下。
普通rnn無法學習到距離當前位置較遠的資訊，lstm通過修改每個隱藏層內部的結構，來解決長距離依賴問題，實現對「記憶」的控制。如下圖所示：
這種特殊結構的主要思想是：將資訊儲存在乙個個記憶細胞中,不同隱藏層的記憶細胞之間通過少量線**互形成一條傳送帶（圖中紅線），實現資訊的流動。同時引入一種「門」的結構，用來新增或刪除記憶細胞中的資訊，控制資訊的流動。
這種結構的構成如下：
三個輸入：
當前位置的特徵x，前一隱藏層的狀態a，前乙個記憶細胞c
三個輸出：
當前隱藏層狀態a，當前記憶細胞c，當前位置**y（一些任務中只需前兩個輸出）
三種門：
遺忘門：控制對歷史資訊c的遺忘程度。
更新門：控制新增到當前記憶細胞中的資訊。
輸出門：控制記憶細胞c中的哪些資訊需要作為輸出。
三種門都會輸出乙個介於0-1之間的數字，表示讓資訊通過的比例。0表示不讓任何資訊通過，1表示讓全部資訊通過。
其他：候選值c~:新增到當前記憶細胞c中的候選資訊
整體工作如下：
輸入x，a和c;
對x和a進行線性變換和sigmoid操作，分別得到遺忘門的值f、更新門的值i和輸出門的值o;
對x和a進行線性變換和tanh操作，得到候選值c~；
將f和c進行逐元素相乘，得到保留下來的歷史資訊；將i和c~進行逐元素相乘，得到新增到記憶細胞中的資訊；將兩者相加得到新的記憶細胞c；
對c進行tanh操作，並與o進行逐元素相乘，得到過濾後的資訊a用來輸出；
如果在當前位置還需要輸出**值，則對a進行softmax操作，輸出**值y。
具體計算公式如圖：
小白的LSTM學習筆記（2） 門結構的基本知識
上次提到水平線是無法實現資訊的刪減與新增的，但是門卻可以解決這個問題。介紹門之前，先介紹sigmoid層 乙個輸出向量在0 1之間的層。門有三類 遺忘門，輸入門，輸出門。遺忘門的作用是控制記憶單元，決定上一時刻的狀態保留多少到當前時刻，通過乙個sigmoid層實現遺忘部分，那個0 1之間的對映就是記...
帶有信任門的時空LSTM，用於三維人體動作識別
why？1.基於人類動作分析3d骨架資料 由於其簡潔 健壯性和檢視不變表示的特點變得流行！2.創意 提出了一種更強大的基於樹結構的遍歷方法。3.效能最先進 how?時空 性網路的提出和實現 1.lstm適合學習在乙個序列的時間資料。2.骨骼資料的序列特性同樣適合rnnn的學習在空間領域。然後將遞迴分...
門式起重機的各種分類
門式起重機是橋式起重機的一種變形。在港口，主要用於室外的貨場 料場貨 散貨的裝卸作業。金屬結構像門形框架，承載主梁下安裝兩條支腳，可以直接在地面的軌道上行走，主梁兩端可以具有外伸懸臂梁。靖起雙主梁門式式起重機 門式起重機具有場地利用率高 作業範圍大 適應面廣 通用性強等特點，在港口貨場得到廣泛使用。...