在神經網路中，常常把sigmoid/邏輯函式叫做激勵函式（activation function），而把引數（parameter）theta叫做權重（weights）。
有時候可以把x0（bias unit）新增到神經網路裡去，有時候不新增。
輸入層：input layer；隱藏層：hidden layer；輸出層：output layer。
a_i(j)表示第j層的第i個神經元。
theta(j)表示從第j層到第j+1層的權重矩陣。
權重矩陣theta(j)的維度是s_(j+1)*(s_j+1)。s_(j+1)是第j+1層的節點數，(s_j+1)是第j層的節點數+1.所以圖中theta(1)的維度是3*4（從圖中a(2)的三個表示式也能看出來：三行四列），theta(2)的維度是1*4.
z_i(j)是對第j-1層的神經元的加權線性組合，這個線性組合作為計算第j層第i個元素的輸入。
這個線性組合z(j)可以向量化為theta(j-1)*x.
上圖中的a(2)是乙個三維向量，z(2)也是三維向量，g函式（激勵函式）作用於z(2)中的每乙個元素上。
為了表示偏置，需要加上a_0(1)=1,a_0(2)=1,這樣a(1)、a(2)就變成了四維向量。
上述方法稱為前向傳播（forward propagation）
每一層可以看做對上一層做邏輯回歸。
吳恩達機器學習筆記
為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...
吳恩達機器學習筆記
sigmoid啟用函式 0，1 x 0,y 0.5 tanh啟用函式 1，1 x 0,y 0 relu啟用函式 x 0,y 0 x 0,y x sigmoid啟用函式 除了輸出層是乙個二分類問題基本不會用它。tanh啟用函式 tanh是非常優秀的，幾乎適合所有場合。relu啟用函式 最常用的預設函式...
吳恩達機器學習筆記 第二週
h x 0 1 x1 2x2 3x3 4x 4h theta x theta 0 theta 1x 1 theta 2x 2 theta 3x 3 theta 4x 4 h x 0 1 x1 2 x 2 3 x3 4 x4 為了表示方便，我們定義乙個單純為了計算方便的特徵，也就是x0 1x 0 1 ...