在第二節中，我們簡述了神經網路的運算方式，由此可知，輸出結果的誤差主要是**於各個傳遞通道之間的權重。因此，我需要使用訓練資料集來輔助我們「訓練」神經網路，即不斷地更新權重減小誤差。
但是，由於在乙個完整的神經網路中，誤差是有所有神經元之間的權重決定的，我們並不知道具體哪個神經元的輸出結果是多少亦或哪一層的輸出結果是多少。我們只知道最終輸出結果與實際結果（即訓練集中的輸出）之間的誤差。
因此，這裡我們使用反向傳播誤差的方法決定。即在輸出層中的誤差按照權重分配到上一層神經元，以此類推。同樣地，我們也可以使用矩陣的方法輔助我們求得各個神經元被分得的誤差。
由反向傳播法求得了各個神經元的誤差以後，那麼關鍵問題就變成了這些誤差該如何指導神經元進行學習，即如何更新權重?
上圖展示了乙個簡單的三層每層三個神經元的輸入輸出關係。可見單純地從數學的角度出發並不能合理地求出最優值（因為隨著神經網路越來越複雜，公式也會越來越複雜並且計算量巨大）。
同樣採用列舉法顯然也不是好的辦法來更新權重，因為僅僅從誤差的變化來猜測各個權重的大小變化的話由排列組合即可以知道計算量很大。因此實際上，我們使用梯度下降法（gradient descent）來輔助我們學習，這也是神經網路中最核心的內容。
Python與神經網路0 神經網路介紹
參考 提到神經網路演算法，其實就是人工神經網路演算法neural networks ann 是一種模仿生物大腦神經的工作原理的演算法。神經網路的基本單位是神經元，生物的神經元包含三部分 體細胞 軸突和樹突。樹突成樹狀，用於從接受訊號，軸突用於輸出訊號。抽象成演算法模型就是 在具體執行時，每個輸入變數...
神經網路 python實現神經網路
神經網路系列目錄 神經網路 神經網路原理介紹 bp演算法 神經網路 sklearn引數介紹及應用 神經網路實戰 主播綜合評分回歸 實戰 最小二乘法 梯度下降法區別及python實現 本篇博文通過python 實現神經網路，採用sklearn自帶的手寫數字集，看分類情況如何 一 匯入資料集並標準化 資...
神經網路與深度學習 三 CPP神經網路庫
簡單的介紹 1.總體上的架構是，將全連線層，輸出層進行封裝，同時引入了connector的資料結構，用於連線兩層，使用了模板的專用化技術，可以連線特定型別的兩層，其中，在bp神經網路中，後一層要向connector提交閾值的修改權 指標 在反向傳播時還要提交反響傳播因子，前一層通過connector...