rnn
title: notation
rnn是squenece2squence的model, 如果我不用signspeaker的方法把動作切成小片的話， 似乎rnn對我的意義不大，我是將squence2one的應用。
有點像video裡面的活動識別問題，輸入乙個序列輸出1個類別
title: notations
x,代表某個example裡序列的第 t 個元素，tx代表樣本x的長度（序列的長度），ty代表輸出y的長度（序列長度
x(i)第i 個樣本的序列 t 元素。
tx(i) 代表第 i 個樣本的序列長度，每個樣本序列長度可能不一樣
dnn在這個問題裡的缺陷，不能適應不同長度的輸入和輸出
不能讓不同位置的神經元分享學習到的引數
rnn前向傳播
資訊量很大，先初始化乙個a0為0向量，然後計算的啟用值由上乙個單元的a和這個單元的x共同做出來，
整乙個是乙個神經元還是一層呢，我不太確定這裡的用詞
假設整乙個是一層，那麼每個神經元可以輸出乙個y，y可以是各種型別的資料，輸出y的時候所使用的啟用函式也根據問題類別確定
反正圖里的這些單元，share同樣的學習引數，waa,wax,wya,ba,by
rnn有many2many的結構，也有many2one的結構
many2one的結構，rnn在最後的乙個單元輸出乙個值就可以了，包含了所有的資訊
還有one2many的結構，比如自動作曲，還有many2many但是輸入輸出不等長的結構（在翻譯應用裡），像這樣就是用前面的神經元
專門讀取輸入x，計算激勵，後面的神經元專門輸出y
language model輸出一句話的概率，就是基於語言本身的概率，來輔助語音識別，輔助機器翻譯等等
title: sampling novel squences from a trained rnn
title: vanishing gradients with rnns
層數比較深的情況下，反向傳播很難影響到靠前面的層
但是我們希望盡可能建立前後的聯絡，例子cat......was, cats.......were.
簡單的rnn只能捕捉到它附件的詞的影響
本質上，就是多了乙個memory cell,這個cell裡面有很多維，認為這些維度儲存的東西可以被很後面的神經元用到
那麼每次經過乙個神經元，考慮要不要更新這個cell，用乙個gate決定的數字來控制更新的過程，這個gate呢也還是用
這些東西算的，反正是這麼個思想吧
深度學習入門
generative adversarial network gan 生成對抗網路 梯度消失 梯度擴散 gradient diffusion deep learning i.e.unsupervised feature learning 目的是讓機器自動學習良好的特徵，而免去人工選取過程 深度學習是...
深度學習入門
元胞自動機實質上是定義在乙個具有離散 有限狀態的元胞組成的元胞空間上，並按照一定的區域性規則，在離散的時間維度上演化的動力學系統。元胞又可稱為單元 細胞，是元胞自動機的最基本的組成部分。乙個標準的細胞自動機由元胞 元胞狀態 鄰域和狀態更新規則構成。用數學表示為 a l,d,s,n,f 其中l為元胞空...
深度學習入門
1 人工智慧 1956年，幾位科學家相聚在達特茅斯會議提出了人工智慧的概念。當時計算機剛剛出現不久，他們希望通過用計算機來構造複雜的，擁有與人類智慧型具有同樣本質的機器。然後幾十年，人工智慧一直在兩極分化，有些人認為這個是改變人們未來生活的乙個大的方向 但是有的人認為人工智慧是一種噱頭，或者是一種泡...