自編碼網路的乙個高階版本：
加入了雅可比矩陣限制，即在隱藏層輸出上新增了隱層輸出h對輸入x的雅可比矩陣的二範約束。
**：rnn用在句子生成上，其中乙個主要的步驟是word embeddings，其表示將乙個單詞
對映為乙個向量，這樣在比較單詞相似性時，只需比較對應的單詞向量的歐氏距離即可。
theano中定義乙個矩陣a，再定義乙個矩陣b，當b作為矩陣a的引數（索引值）時，
這裡針對a的索引是指對b中的每個元素，以這個元素為行值，取a中對應的行中所有元素。
因此最終取得的元素個數為b中所有元素個數 * ａ中一行中包括的元素個數。
theano中tensor.softmax函式會在輸入的基礎上增加乙個維度！！！
如輸入的是乙個vector，那麼生成的是乙個二維矩陣，只不過其中乙個維度為1而已。
在rnn的tutorial中：
scan中經過softmax得到的矩陣是n*1*m，即這裡憑空多出了第二維的1。
所以之後的**在取值時，將第二維設為0。
而這個rnn的輸入為單詞的embedding，而單詞對應的embedding剛開始是未知的。
因此訓練前，將embedding設為隨機數，並且將embedding也設為shared引數加入到訓練引數中。
在之後的**過程中，則用輸入單詞在訓練後的embedding矩陣中取值作為它對應的embedding進行輸入即可。
當前的隱藏層輸出上。
自編碼與變分自編碼
神經網路的本質是資訊壓縮特徵提取，神經網路公式h w x 做內積，所以神經網路是個相關性判斷 研究ai頂級公司研究損失。無監督學習是在沒有資料標籤的情況下，尋找資料特徵。但是無監督學習的標籤是自身，自監督學習，是無監督學習的一種特殊情況，他是將資料切分n塊，然後用各個塊來 其他塊。弱監督學習，是將無...
自編碼網路與時間訊號分解
最近一直在研究與自編碼相關的深度學習知識，關於自編碼相關的數學知識請移步相關的解釋 這裡不再贅述。一直想利用tensorflow實現乙個自編碼的小例子，網上列出的例子大部分都是和官方例子相似的影象處理的例項 這些例子對於沒有影象處理的人來說有些晦澀，所以想自己設計乙個自編碼網路的例子來說明一下深度學...
自編碼網路實現Mnist
usr bin python3 coding utf 8 time 2018 3 16 author machuanbin import tensorflow as tf from tensorflow.examples.tutorials.mnist import input data impor...