1. 迴圈神經網路的應用
語音問答、視覺問答、機器翻譯、****、作詞機、作詩、仿寫**及**、影象理解
2. 迴圈神經網路 vs 卷積神經網路
1. 基本結構
2. 深度rnn
深度較深，特徵表示能力較強。
3. 雙向rnn
同時聯絡上、下文資訊。
4. bptt演算法
與bp演算法相似，復合函式鏈式求導需要考慮所有與w相關的h。
1. 傳統rnn的問題
梯度消失導致的問題：長時依賴問題
梯度消失問題的改進：
lstm中「記憶」不會被新的輸入覆蓋（相加）。
如果前面的輸入對 ct 產生了影響，那這個影響會一直存在，除非遺忘門的權重為0。
解決lstm運算複雜的問題。
相似：1. 解決rnn梯度消失的其他方法
2. 基於attention的rnn
第五章 神經網路
單層感知器和啟用函式 亦或問題 與非概念 bp演算法 神經網路中誤差反向傳播 back propagation 演算法的工作原理 標準bp演算法與累積bp演算法 用到隨機梯度下降 競爭型學習som網路自組織對映 競爭學習演算法 競爭輸出乙個獲勝的 最優的 向量歸一化 競爭層 輸入層 k means的...
迴圈神經網路
原文 迴圈神經網路也可以畫成下面這個樣子 對於語言模型來說，很多時候光看前面的詞是不夠的，比如下面這句話 我的手機壞了，我打算 一部新手機。可以想象，如果我們只看橫線前面的詞，手機壞了，那麼我是打算修一修？換一部新的？還是大哭一場？這些都是無法確定的。但如果我們也看到了橫線後面的詞是 一部新手機 那...
迴圈神經網路
原文 迴圈神經網路也可以畫成下面這個樣子 對於語言模型來說，很多時候光看前面的詞是不夠的，比如下面這句話 我的手機壞了，我打算 一部新手機。可以想象，如果我們只看橫線前面的詞，手機壞了，那麼我是打算修一修？換一部新的？還是大哭一場？這些都是無法確定的。但如果我們也看到了橫線後面的詞是 一部新手機 那...