解決方案1：
解決方案2：
在訓練文件(ai_lstm_prob.py)的開頭處中加入
from numpy.random import seed
seed(1)
from tensorflow import set_random_seed
set_random_seed(2)
訓練結果仍然不同；
結論：還存在其他的隨機源，比如說gpu訓練產生的隨機性，如下解釋：
以上所有示例都假設**是在乙個cpu上執行的。
這種情況也是有可能的，就是當使用gpu訓練模型時，可能後端設定的是使用一套複雜的gpu庫，這些庫中有些可能會引入他們自己的隨機源，你可能會或者不會考慮到這個。
例如，有證據顯示如果你在堆疊中使用了 nvidia cudnn，這可能引入額外的隨機源（ introduce additional sources of randomness），並且使結果不能準確再現
RNN梯度問題
梯度消失的原因 在多層網路中，影響梯度大小的因素主要有兩個 權重和啟用函式的偏導。深層的梯度是多個啟用函式偏導乘積的形式來計算，如果這些啟用函式的偏導比較小 小於1 或者為0，那麼梯度隨時間很容易vanishing 相反，如果這些啟用函式的偏導比較大 大於1 那麼梯度很有可能就會exploding。...
RNN模型訓練經驗總結
搭建模型 forward propagation設定 back propagation設定 避免出現nan的幾個方法 利用好過擬合。其他經驗 技巧集錦 訓練神經網路前，別管 先從預處理資料集開始。一定要認認真真先去了解資料的分布並找出其中的規律。在檢查資料的過程中，可能會發現重複的 標記錯誤的樣本，...
用rnn網路訓練mnist資料集
與以往cnn卷積神經網路不同，rnn的思想是資料資訊有順序，所以rnn一般用來訓練文字資料資訊，就像小時候的填空題一樣，我們能根據上下文判斷這個空應該填什麼，這前面的文字和後面的文字都是有順序的。用rnn訓練分類也有其優點，例如每個人都是頭朝上腳朝下 個別倒立的例外 在這裡我們就用rnn網路訓練mn...