要先將字編碼成向量
要對之前的資訊有記憶
相同的輸入，寫詩，可能有不同的輸出。
可以發現，輸入不止與當前輸入有關，還和之前的輸入有關。要有記憶！
將隱藏層的啟用值利用
a0=0,初始值=0
上次輸入的不同，記憶值不同，使得現在相同的輸入可以得到不同的輸出。
記憶值不斷相乘累加。w^n
梯度**和梯度消失：wn（w>1和w<1）。
w'=w-a*δ
需要乙個模型,能夠記憶久遠輸入和近期遺忘。
加入輸入門、輸出門和遺忘門。使用sigmod函式。
sigmod函式：0-1之間。中點0.5
lstm:
f:遺忘門，forget gate
情感分析，差評還是好評。
看圖說話，寫詩就是這個模型。
不止和之前輸入有關，還和之後的輸入相關。
很多隱藏層
l1+l2+...+ln
再求梯度。
機器學習學習筆記
2.機器學習書籍 機器學習tom,這個是老經典，就是翻譯欠佳 prml，這個書正版的超貴，但是比較新且系統，可以通過其他途徑搞個副本。3.自己動手編碼實現2 3種經典演算法，比如svm，lr，bpnn等。4.了解spark上目前支援的機器學習方法的用途和用法，這個在日常工作中會用到。知道的多一點，方...
機器學習 學習筆記
關於梯度下降演算法的優化與 會有三種方法優化梯度下降演算法 1.共軛梯度下降法 conjugate 2.變尺度法 bfgs 3.限制變尺度法 l bfgs 這些方法的好處是 1.不用選擇學習速率 2.收斂的速度快，執行效率高 但是她們的缺點在於 實現她們的方法太複雜，所以我們就可以使用語言的內建庫函...
機器學習 學習筆記
監督學習 我們的學習演算法使用的資料是給出正確答案的資料，然後我們執行學習演算法，出更多的正確答案。理解為像深度需學習類似，利用訓練樣本訓練處學習模型，然後用測試樣本對學習到的模型進行檢測，輸出 結果。無監督學習 可以理解為對於學習演算法所使用的資料集並沒有給出正確答案，學習演算法就是要對這資料集進...