目錄
一、神經網路表示
神經網路層數= 隱藏數+輸出層（1）
輸入不算是一層，可以說是第0層
第i層的值：w[1]可以用來表示是第1層的引數
每一層中有多個神經元，然後它們可以做相同的事，比如第一層中有3個引數，用下標來區分
二、啟用函式
sigmoid： $a = \frac}$ 只用於二元分類輸出層
缺點：不是以0為中心；當$x$很大/小時，梯度趨於0
tanh:$a = \frac}}$
分布以0為中心點
缺點：和sigmoid一樣當z很大/小時斜率趨於0，使得梯度下降效果弱
relu：$a = max(0,z)$ 一般會採用這個
優點：右側是線性的，求梯度簡單且收斂速度快
為什麼要用非線性啟用函式：線性函式得出的關係比較簡單，不足以描述現實中複雜的關係
三、不能把所有引數都初始化為0
如果把w初始化為0，那麼多個神經元的計算就會是一樣的(對稱性)，歸納可得不管多少次後也是一樣的結果，則一層中多個神經元也變得沒有意義
隨機初始化：w=np.randm.radn((2,2))*0.01 這裡0.01是因為希望得到的w不要太大，因為啟用函式在變數絕對值較大的位置變化比較平緩
四、反向計算求導
正向計算（黑色），反向求導計算（紅色）
神經網路和深度學習 淺層神經網路
乙個淺層神經網路示意圖 如圖所示，表示乙個單隱層的網路結構。這裡主要需要注意的是，層與層之間引數矩陣的規格大小 隱藏層和輸出層之間 由上面我們可以總結出，在神經網路中，我們以相鄰兩層為觀測物件，前面一層作為輸入，後面一層作為輸出，兩層之間的w引數矩陣大小為 n out,nin b引數矩陣大小為 n ...
神經網路和深度學習（二）淺層神經網路
1 計算神經網路的輸出 正向傳播 矩陣表示 向量化 2 多個樣本的向量化 正向傳播 3 啟用函式 1 sigmoid函式僅用於二分分類的情況，較少使用 2 tanh函式絕大多數情況下優於sigmoid函式 3 relu函式是預設的常用啟用函式 4 leaking relu 帶洩露的relu函式 4 ...
淺層神經網路 2
搭建乙個神經網路時，你可以選擇隱藏層中或者輸出層中使用什麼啟用函式 actuation function 到目前為止，我們一直使用的是sigmoid函式，但其他函式效果會更好。在實際訓練中，有個函式表現總是比sigmoid好，叫tanh 雙曲正切函式 它的輸出是 1,1 從數學上，它其實是sigmo...