說下自己理解：
神經網路中有這麼幾個概念：
輸入層隱藏層
輸出層啟用函式
loss函式
正則化懲罰項
梯度下降法
反向傳播演算法
bp神經網路流程：
step1：確定輸入值輸出值，初始化隨機賦值隱藏層中權重與偏向
step2：前向傳播，根據公式將輸入值*權重+偏向計算得出每個神經元（隱藏層和輸出層）的數值，利用啟用函式將這個數值轉化為【0，1】得分
step3：通過loss函式計算得到總誤差，建立最優化目標函式（總誤差的最小值時前面每個神經元權重與偏向的取值），對權重反向更新操作（即bp演算法）
重複step123
BP神經網路演算法推導
1 前饋神經網路 反饋神經網路 bp網路等，他們之間的關係 前饋型神經網路 取連續或離散變數，一般不考慮輸出與輸入在時間上的滯後效應，只表達輸出與輸入的對映關係 在此種神經網路中，各神經元從輸入層開始，接收前一級輸入，並輸入到下一級，直至輸出層。整個網路中無反饋，可用乙個有向無環圖表示。常見的前饋神...
BP神經網路演算法推導
目錄正向計算 反向傳播 設損失函式為f vec 則f vec delta f vec nabla cdot delta 其中 nabla 是 f vec 的梯度 所以當 delta eta nabla f vec eta 0 時，下降速率最快 即 delta eta frac 設當前啟用函式為f x...
神經網路BP演算法推導
j theta frac1m sum m sum k left y k log left h theta left x right right k left 1 y k right log left 1 left h theta left x right right k right right fr...