神經網路是由大量簡單的處理單元來模擬真實人腦神經網路的機構和功能以及若干基本特性，是乙個高度複雜的非線性自適應動態處理系統。按照連線模式，神經網路模型可分為前饋式神經網路和反饋式神經網路，bp網路屬於前饋式。
bp演算法的提出：rumelhart，mcclelland於2023年提出了bp網路的誤差反向後傳bp(back propagation)學習演算法。利用輸出後的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。
bp神經網路的提出：2023年由rumelhart和mccelland為首的科研小組提出，參見他們發表在nature上的** learning representations by back-propagating errors。
bp神經網路名字源於網路權值的調整規則採用的是後向傳播學習（bp）演算法，是一種按誤差逆傳播演算法訓練的多層前饋神經網路，是目前應用最廣泛的神經網路模型之一。bp神經網路能學習和存貯大量的輸入-輸出模式對映關係，而無需事前揭示描述這種對映關係的數學方程。bp神經網路的主要思想就是在確定了網路結構後，通過輸入和輸出樣本集對網路進行訓練和學習，以使網路實現給定的輸入和輸出對映關係。
bp神經網路屬於有監督學習
神經網路神經元模型主要的不同在於傳遞函式的不同。傳遞函式是bp網路的重要組成部分，又稱啟用函式，必須是連續可導的。bp網路常採用的傳遞函式如下：
n為q個s維的輸入列向量；fp為功能結構引數（可選）；a為函式返回值，位於區間（0,1）中。bp網路是典型的多層網路結構，而多層網路可以解決很多單層網路無法解決的問題，比如多層網路可以用來進行非線性分類、做精度極高的函式逼近。為了描述方便，我們選擇三層bp網路，網路結構包含乙個輸入層、乙個隱含層和乙個輸出層，其網路結構如下圖。設n為輸入層神經元數， h為隱含層神經元數，m為輸出層神經元數。
學習的本質：對各連線權值的動態調整。
學習規則：權值調整規則，即在學習過程中網路中各神經元的連線權變化所依據的一定的調整規則。
參考：[bp神經網路常用函式彙總](BP網路詳解
神經網路是由大量簡單的處理單元來模擬真實人腦神經網路的機構和功能以及若干基本特性，是乙個高度複雜的非線性自適應動態處理系統。按照連線模式，神經網路模型可分為前饋式神經網路和反饋式神經網路，bp網路屬於前饋式。bp演算法的提出 rumelhart，mcclelland於1985年提出了bp網路的誤差反...
BP神經網路詳解
一，什麼是bp bp back propagation 網路是1986年由rumelhart和mccelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。bp網路能學習和存貯大量的輸入 輸出模式對映關係，而無需事前揭示描述這種對映關係的數學...
BP神經網路詳解
一 bp神經網路的概念 誤差逆傳播簡稱bp演算法，bp神經網路是一種多層的前饋神經網路，其主要特點是 訊號前向傳播，誤差反向傳播。如下圖為只含一層的隱含層的卷積神經網路。其大致工作流程為 第一階段是訊號的前向傳播，從輸入層經過隱含層，最後達到輸出層 第二階段是誤差 各邊權重w和閾值 的反向傳播，從輸...