在前面我們很細緻地介紹了基本 lstm 的理論，其實學者們還提出了多種 lstm 的變種，如 coupled lstm、peephole lstm、gru 等等，今天就來看看其中兩個比較流行的變體peephole connections 和 gru，它們都可應對梯度消失問題，也都可用於構建深度神經網路，此外我們還會學習乙個高效的搜尋策略beam search。
首先來回顧一下 lstm 的結構：
lstm 有三個門控，還有乙個長期狀態 c。
數學表達為：
$ i_t = \sigma (w_i h_ + u_i x_ + b_i)$ $ o_t = \sigma (w_o h_ + u_o x_ + b_o)$ $ f_t = \sigma (w_f h_ + u_f x_ + b_f)$
$ \tilde_t = \tanh (w_c h_ + u_c x_ + b_c)$ $ c_t = f_t \circ c_ + i_t \circ \tilde_t $
$ h_t = o_t \circ \tanh$
$ y_t = h_t$
其中：
快速排序的幾種改進
快速排序，顧名思義，快速排序的速度是很快的，平均複雜度是nlogn。快速排序的思路 1.分治的思想，把陣列分成兩份，兩份分成4分，這樣分到足夠小，就能很好排序咯，然後把他們合起來，排序完成。2.該分治思想和合併排序思想一樣，但是處理上更搞一籌，他是把小的和大的分成兩份，這樣在最後合併的時候，就不會像...
高斯混合背景建模的改進方案
高斯混合背景建模原理 1 stauffer提出自適應混合高斯背景建模，通過融入幀間差分把每幀中的影象區分為背景區域 背景顯露區域和運動物體區域。相對於背景區域,背景顯露區中的畫素點將以大的更新率更新背景模型,使得長時間停滯物體由背景變成運動前景時,被遮擋的背景顯露區被快速恢復。劉鑫,劉輝,強振平,等...
增量載入的幾種方案
如 s etl run記錄上次抽取日期，s etl curr run記錄當前抽取日期，抽取sql如下 where update date s etl run.prev load dt and update date s etl curr run.load dt 2，資料來源的時間列update da...