學習了bp神經網路演算法，剛開始最終要的一點不明白的就是前一層和後一層（這裡指的只有三層，輸入層，隱藏層，輸出層）的權重，其實神經網路演算法中，前一層的每乙個節點和後一層的每乙個節點都有連線權重，初始權重是隨機的。而更新權重是通過輸出層的值來反向更新的。基本過程如下：
1.輸入第乙個訓練樣本（對應的就是輸入層各個節點的值），根據初始隨機權重和輸入層到隱藏層的計算公式（這個公式在神經網路演算法的文章中都有）得到隱藏層的節點值。然後同樣，根據計算得到的隱藏層的各節點值以及隱藏層輸出層之間節點的連線權重，計算得到輸出層的節點值。
2.根據輸出層的節點值，利用公式，更新隱藏層和輸出層之間的連線權重。在根據公式更新隱藏層和輸入層之間的連線權重，這樣第乙個訓練樣本訓練就完成了。
3.同理，輸入其他的訓練樣本，這樣神經網路的訓練就完成了。
神經網路訓練技巧
1 學習速率。首先設學習速率為乙個較大的值，確保training cost在不斷下降。當accuracyy在n個epoch內不再增加時，使得學習速率減小一半。重複迭代，直到學習速率變成原來的1 1024。2 學習速率要根據訓練cost調。但是網路層數和神經元數目，mini batch size要根據...
神經網路的訓練
既然我們希望網路的輸出盡可能的接近真正想要 的值。那麼就可以通過比較當前網路的 值和我們真正想要的目標值，再根據兩者的差異情況來更新每一層的權重矩陣 比如，如果網路的 值高了，就調整權重讓它 低一些，不斷調整，直到能夠 出目標值 因此就需要先定義 如何比較 值和目標值的差異 這便是損失函式或目標函式...
訓練最優神經網路
在談論改善模型之前，首先一點是要考慮資料問題。在資料ok的情況下，我們按照吳恩達老師的建議來改善模型。如果誤差過高，我們首先可以考慮把我們現有的神經網路深度加深，以及新增更多的神經元，或許能夠改善學習效果。我們也可以考慮迭代更多的epoch，我們也可以對學習率做出調整，往往更小的學習率能有更好的效果...