獲取更多的訓練樣本其實是很好的想法。不幸的是，這個⽅法代價很⼤，在實踐中常常是很 難達到的。
不過，還有⼀種⽅法能夠獲得類似的效果，那就是⼈為擴充套件訓練資料。
假設我們使 ⽤⼀個5的mnist訓練影象，將其進⾏旋轉，⽐如說15◦：這還是會被設別為同樣的數字的。
但是在畫素層級這和任何⼀幅在mnist訓練資料中的圖 像都不相同。
所以將這樣的樣本加⼊到訓練資料中是很可能幫助我們的⽹絡學會更多如何分類 數字。
⽽且，顯然我們不限於只增加這幅影象。
我們可以在所有的mnist訓練樣本上通過很多 ⼩的旋轉擴充套件訓練資料，然後使⽤擴充套件後的訓練資料來提公升我們⽹絡的效能
神經網路訓練
學習了bp神經網路演算法，剛開始最終要的一點不明白的就是前一層和後一層 這裡指的只有三層，輸入層，隱藏層，輸出層 的權重，其實神經網路演算法中，前一層的每乙個節點和後一層的每乙個節點都有連線權重，初始權重是隨機的。而更新權重是通過輸出層的值來反向更新的。基本過程如下 1.輸入第乙個訓練樣本 對應的就...
神經網路訓練技巧
1 學習速率。首先設學習速率為乙個較大的值，確保training cost在不斷下降。當accuracyy在n個epoch內不再增加時，使得學習速率減小一半。重複迭代，直到學習速率變成原來的1 1024。2 學習速率要根據訓練cost調。但是網路層數和神經元數目，mini batch size要根據...
神經網路的訓練
既然我們希望網路的輸出盡可能的接近真正想要 的值。那麼就可以通過比較當前網路的 值和我們真正想要的目標值，再根據兩者的差異情況來更新每一層的權重矩陣 比如，如果網路的 值高了，就調整權重讓它 低一些，不斷調整，直到能夠 出目標值 因此就需要先定義 如何比較 值和目標值的差異 這便是損失函式或目標函式...