深度學習離不開最基本的bp神經網路，這裡把公式推一遍
目錄：
一、正向傳播
二、反向傳播
三、迭代過程
神經網路的核心在bp網路，其主要分為正向傳播和方向傳播兩個過程。
一、正向傳播過程
公式見圖，14~17，從輸入xi得到輸出yo
二、反向傳播過程，
反向傳播主要是為了調整各傳播層的w值
公式推導見圖18~26
三、迭代過程
1、我們希望知道在每乙個w向哪個方向調整才能減少誤差，於是我們根據誤差對w求偏導，偏導數的方向就是我們要調整的方向：見公式18,21
2、得到偏導數後，我們知道了在每乙個w方向上我們應該調整的方向，那每次在這個方向上調整多少呢，一般我們可以設乙個固定值，或者乙個不斷變小的值，就是一步步試（參看梯度下降和數值優化，
在公式25,26步中我們得到了w的迭代公式。u為我們設定的迭代步長。
3、之所以公式我們衍化了半天，是因為我們希望在計算過程中能得到簡化。
由於啟用函式的導數可以由簡單的乘和加來獲得（見公式17-3），結合20,24代入25,26步我們發現只需要用每層的輸入輸出簡單的加減乘除計算就可以完成，是不是很有數學上的美感。
超平面公式推導及理解
最近在學習 統計學習方法 在學習第乙個機器學習演算法 感知機時，提出了超平面的概念，以下為超平面公式的推導及空間中任意一點距離超平面距離的推導。方便日後複習。參考 在數學中，超平面是n維歐氏空間中，餘維度為1的子空間 1 即超平面是n維空間中的n 1維的子空間。它是平面中的直線 空間中的平面之推廣。...
BP神經網路的數學公式推導
學習神經網路挺長一段時間了，最近才弄明白這其中的推導過程 推導過程參考cousera上andrew ng的機器學習課程 我盡量細緻通俗的解釋推導過程 假設我們有上圖的這樣乙個神經網路 輸入層為l 0，輸出層l 2 隱層l 1 引數則有兩層theta1和theta2 以下的公式均採用向量化的方式表達省...
機器學習 神經網路及BP推導
參考 這裡的推導都用矩陣和向量的形式，計算單個變數寫起來太麻煩。矩陣 向量求導可參見上面參考的部落格，個人覺得解釋得很直接很好。前向傳播每一層的計算如下 z l 1 w l l 1 a l b l,l 1 1.1 a l 1 f z l 1 1.2 f 是啟用函式。一般有sigmoid tanh r...