反向傳播神經網路是對非線性可微分函式進行權值訓練的多層網路，是前向神經網路的一種。
比如，乙個三層bpn結構如下：
由輸入層、隱含層和輸出層三層組成。其中每一層的單元與之相鄰層的所有單元連線，同一層的單元之間沒有連線。當一對學習樣本提供給網路後，神經元的啟用值從輸入層經各中間層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。接下來，按照減少目標輸出與實際誤差的方向，從輸出層經過各中間層逐層修正各連線權值，最後回到輸入層。
單個感知器能夠完成線性可分資料的分類問題，是一種最簡單的可以「學習」的機器。但他無法解決非線性問題。比如下圖中的xor問題：即（1,1）（-1,-1）屬於同一類，而（1,-1）（-1,1）屬於第二類的問題，不能由單個感知器正確分類。
反向傳播演算法也稱bp演算法。由於這種演算法在本質上是一種神經網路學習的數學模型，所以，有時也稱為bp模型。
bp演算法是為了解決多層前向神經網路的權係數優化而提出來的；所以，bp演算法也通常暗示著神經網路的拓撲結構是一種無反饋的多層前向網路。故而．有時也稱無反饋多層前向網路為bp模型。
在這裡，並不要求過於嚴格去爭論和區分演算法和模型兩者的有關異同。感知機學習演算法是一種單層網路的學習演算法。在多層網路中．它只能改變最後權係數。因此， 感知機學習演算法不能用於多層神經網路的學習。2023年，rumelhart提出了反向傳播學習演算法，即bp(backpropagation)演算法。這 種演算法可以對網路中各層的權係數進行修正，故適用於多層網路的學習。bp演算法是目前最廣泛用的神經網路學習演算法之一，在自動控制中是最有用的學習演算法。
1.網路的隱含節點個數選取問題至今仍是乙個 世界難題（google, elsevier, cnki）；
2.停止閾值、學習率、動量常數需要採用」trial-and-error」法，極其耗時（動手實驗）；
3.學習速度慢；
4.容易陷入區域性極值，學習不夠充分。
bp演算法詳細介紹：
多層感知機MLP
關於感知機 1.什麼是感知機 perceptron 感知機是最簡單的神經網路，具備神經網路的必備要素。感知機也稱為感知器，是一種雙層神經網路，即只有輸入層和輸出層而沒有隱層的神經網路。感知機是一種二類分類的線性分類器，其輸入為例項的特徵向量，輸出為例項的類別，感知機屬於判別模型，旨在求出將訓練資料進...
keras多層感知機MLP
肯定有人要說什麼多層感知機，不就是幾個隱藏層連線在一起的嗎。話是這麼說，但是我覺得我們首先要自己承認自己高階，不然怎麼去說服 hu nong 別人呢 from keras.models import sequential from keras.layers import dense import n...
多層感知機（MLP）原理簡介
多層感知機 mlp，multilayer perceptron 也叫人工神經網路 ann，artificial neural network 除了輸入輸出層，它中間可以有多個隱層，最簡單的mlp只含乙個隱層，即三層的結構，如下圖 輸入層沒什麼好說，你輸入什麼就是什麼，比如輸入是乙個n維向量，就有n個...