1、什麼是bias？
偏置單元（bias unit），在有些資料裡也稱為偏置項（bias term）或者截距項（intercept term），它其實就是函式的截距，與線性方程 y=wx+b 中的 b 的意義是一致的。在 y=wx+b中，b表示函式在y軸上的截距，控制著函式偏離原點的距離，其實在神經網路中的偏置單元也是類似的作用。
因此，神經網路的引數也可以表示為：(w, b)，其中w表示引數矩陣，b表示偏置項或截距項。
2、bias的計算方式？
神經網路結構中對偏置單元的計算處理方式有兩種，
（1）設定偏置單元=1，並在引數矩陣 θ 中設定第 0 列對應偏置單元的引數，對應的神經網路如下：
其中，x0 是第一層的偏置單元（設定為1），θ(1)10 是對應該偏置單元 x0 的引數；a(2)0 是第二層的偏置單元，θ(2)10 是對應的引數。
在計算啟用值時按照（以a(2)1為例）：
相當於bias本身值為1，但它連線各個神經元的權重不為1，即---整個神經網路只有1個bias，對應有多個不同的權重（權重個數等於hide層和out層神經元的個數）
（2）設定偏置單元，不在引數矩陣中設定對應偏置單元的引數，對應的神經網路如下：
其中，b(1) 是 w(1) 對應的偏置單元向量，b(2) 是 w(2) 對應的偏置單元向量，b(1)1 是對應 a(2)1 的偏置單元。注意，此時神經網路的引數表示更改為：(w, b)
在計算啟用值時按照：
相當於bias連線各個神經元的所有權重都為1，但bias本身不為1，即---有多個bias，但所有的bias對應的權重都為1（bias的個數等於hide層和out層神經元的個數）
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...