反向反饋
1 提出背景：
1.1簡單的只包含輸入層和輸出層的神經網路不能模擬複雜模型
1.2為了提高神經網路使用的廣泛性，可以像感知器一樣，增加大量的特徵
1.3 神經網路的中心問題：（1）怎樣學習多層神經網路（包含隱藏層）的特徵；（2）怎樣學習隱藏層的權重
2 與隨機的改變權重相比：
2.1隨機的改變權重方式是一種reinforcement learning，其目標是為了實現最優值。
2.2隨機的改變權重方式，並不是高效的。
（1）首先，根據前向反饋，隨機改變的值要經過很多層才能到達最後的結果。
（2）然後，的大多數變化都會使結果變得更糟糕
3 反向反饋：
3.1核心:
誤差偏導的傳遞，（即計算來自輸出層的每一層隱藏層的誤差偏導）
3.2理論：
顯而易見的是，改變第i層的第j個單元，勢必影響到第i+1層與之相關聯的所有單元。所以，當我們在計算從第i+1層傳遞到第i層的第個j單元的誤差偏導時，是需要考慮第i+1層中所有與j相關聯的單元（即求和）。因為在誤差偏導傳遞的過程中，也存在權重的問題，此時，採用和前向反饋相同的權重，那麼我們就可以推導出權重對於最後輸出結果的影響，從而達到改變權重，實現結果最優的狀態
3.3 計算過程（計算某個單個的權重）
反饋神經網路Hopfield網路
經過一段時間的積累，對於神經網路，已經基本掌握了感知器 bp演算法及其改進 adaline等最為簡單和基礎的前饋型神經網路知識，下面開啟的是基於反饋型的神經網路hopfiled神經網路。前饋型神經網路通過引入隱層及非線性轉移函式 啟用函式 使得網路具有複雜的非線性對映能力。前饋網路的輸出僅由當前輸入...
BP神經網路 誤差反向傳播公式的簡單推導
最近看了一下bp神經網路 backpropagation neural networks 發現很多資料對於bp神經網路的講解注重原理，而對於反向傳播公式的推導介紹的比較簡略，故自己根據 pattern recognition and machine learning 這本書的思路推導了一下反向傳播的...
神經網路反向傳播理解
訓練神經網路的目標是 優化代價函式，使得代價函式找到乙個 全域性最小值或者區域性最小值。不管使用何種梯度下降演算法 bgd,sgd adam 都需要先算出各個引數的梯度。反向傳播的作用 就是快速算出所有引數的偏導數。求導數通常可以分為兩類，一類是直接用定義，第二類是公式法 包括鏈式法 定義法 定義法...