1、前饋神經網路、反饋神經網路、bp網路等，他們之間的關係
前饋型神經網路：
取連續或離散變數，一般不考慮輸出與輸入在時間上的滯後效應，只表達輸出與輸入的對映關係；在此種神經網路中，各神經元從輸入層開始，接收前一級輸入，並輸入到下一級，直至輸出層。整個網路中無反饋，可用乙個有向無環圖表示。常見的前饋神經網路有感知機（perceptrons）、bp（back propagation）網路、rbf（radial basis function）網路等。
bp網路：
bp網路是指連線權調整採用了反向傳播（back propagation）學習演算法的前饋網路。與感知器不同之處在於，bp網路的神經元變換函式採用了s形函式（sigmoid函式），因此輸出量是0~1之間的連續量，可實現從輸入到輸出的任意的非線性對映。
由上可知bp網路是通過bp演算法來修正誤差的前饋神經網路
反饋型神經網路：
取連續或離散變數，考慮輸出與輸入之間在時間上的延遲，需要用動態方程來描述系統的模型。
前饋型神經網路的學習主要採用誤差修正法（如bp演算法），計算過程一般比較慢，收斂速度也比較慢；
而反饋型神經網路主要採用hebb學習規則，一般情況下計算的收斂速度很快。
神經網路分類：
參考：
BP神經網路演算法推導
目錄正向計算 反向傳播 設損失函式為f vec 則f vec delta f vec nabla cdot delta 其中 nabla 是 f vec 的梯度 所以當 delta eta nabla f vec eta 0 時，下降速率最快 即 delta eta frac 設當前啟用函式為f x...
神經網路BP演算法推導
j theta frac1m sum m sum k left y k log left h theta left x right right k left 1 y k right log left 1 left h theta left x right right k right right fr...
神經網路BP演算法簡單推導
這幾天圍繞 a neural probability language model 看了一些周邊資料，如神經網路 梯度下降演算法，然後順便又延伸溫習了一下線性代數 概率論以及求導。總的來說，學到不少知識。下面是一些筆記概要。一 神經網路 神經網路我之前聽過無數次，但是沒有正兒八經研究過。形象一點來說...